[论文解读] Impliance: A Next Generation Information Management Appliance

Bishwaranjan Bhattacharjee, Vuk Ercegovac+10 more|ArXiv.org|Dec 22, 2006

Advanced Database Systems and Queries参考文献 25被引用 6

一句话总结

Impliance 提出了一款下一代信息管理设备，通过紧密集成的软硬件统一管理结构化、半结构化和非结构化数据。它通过大规模并行处理、自动数据组织和资源虚拟化实现横向扩展，为现代工作负载提供简单、稳健且可扩展的企业级数据管理。

ABSTRACT

ably successful in building a large market and adapting to the changes of the last three decades, its impact on the broader market of information management is surprisingly limited. If we were to design an information management system from scratch, based upon today's requirements and hardware capabilities, would it look anything like today's database systems?" In this paper, we introduce Impliance, a next-generation information management system consisting of hardware and software components integrated to form an easy-to-administer appliance that can store, retrieve, and analyze all types of structured, semi-structured, and unstructured information. We first summarize the trends that will shape information management for the foreseeable future. Those trends imply three major requirements for Impliance: (1) to be able to store, manage, and uniformly query all data, not just structured records; (2) to be able to scale out as the volume of this data grows; and (3) to be simple and robust in operation. We then describe four key ideas that are uniquely combined in Impliance to address these requirements, namely the ideas of: (a) integrating software and off-the-shelf hardware into a generic information appliance; (b) automatically discovering, organizing, and managing all data - unstructured as well as structured - in a uniform way; (c) achieving scale-out by exploiting simple, massive parallel processing, and (d) virtualizing compute and storage resources to unify, simplify, and streamline the management of Impliance. Impliance is an ambitious, long-term effort to define simpler, more robust, and more scalable information systems for tomorrow's enterprises.

研究动机与目标

• 解决当前数据库系统在处理多样化数据类型和高效扩展方面的局限性。
• 设计一种简化企业环境中管理与操作的信息管理设备。
• 实现对结构化、半结构化和非结构化数据的统一查询与管理。
• 通过在现成硬件上采用大规模并行处理实现水平可扩展性。
• 通过计算与存储虚拟化简化系统管理。

提出的方法

• 将现成硬件与定制软件集成，形成统一的信息设备。
• 自动发现、组织并统一管理所有数据类型的元数据模型。
• 通过在通用节点上实现简单的大规模并行处理实现横向扩展。
• 通过虚拟化计算与存储资源，将硬件与逻辑数据管理解耦。
• 使用单一统一的查询引擎，支持多种数据类型且无需预先定义模式。
• 嵌入自管理功能以减少管理开销。

实验结果

研究问题

• RQ1 现代信息管理系统如何统一处理结构化、半结构化和非结构化数据？
• RQ2 哪些架构原则能够实现面向未来企业的稳健、可扩展且易于管理的数据系统？
• RQ3 能否通过现成硬件和简单并行处理高效实现横向扩展？
• RQ4 资源虚拟化如何简化复杂数据设备的管理？
• RQ5 自动数据发现与组织在降低管理负担方面发挥什么作用？

主要发现

• Impliance 实现了对所有数据类型——结构化、半结构化和非结构化——的统一查询，且无需预先定义模式。
• 该设备架构通过在现成硬件上利用大规模并行处理实现水平可扩展性。
• 自动数据发现与组织减少了手动数据管理任务，提升了系统可用性。
• 资源虚拟化通过抽象底层硬件复杂性简化了系统管理。
• 软件与硬件的集成形成单一设备提升了可靠性和操作稳健性。
• 该系统证明了构建更简单、更可扩展且更易维护的信息管理平台在面向未来企业工作负载方面的可行性。