[論文レビュー] The Case for a Structured Approach to Managing Unstructured Data

AnHai Doan, Jeff Naughton+11 more|ArXiv.org|Sep 9, 2009

Big Data and Business Intelligence被引用数 29

ひとこと要約

この論文は、構造化されていないデータを管理するための体系的かつ体系的な手法を提唱している。これは、関係データベースの原則を応用することで、半構造的・構造化されていないデータの取り扱いという急増する課題に応えるものである。本論文は、非構造化データのためのデータモデリング、スキーマ発見、クエリ処理を統合したフレームワークを提案し、こうした手法的基盤が、ビッグデータ時代におけるAI、IR、産業界のプレーヤーからデータベースコミュニティがリーダーシップを回復するためには不可欠であると主張している。

ABSTRACT

The challenge of managing unstructured data represents perhaps the largest data management opportunity for our community since managing relational data. And yet we are risking letting this opportunity go by, ceding the playing field to other players, ranging from communities such as AI, KDD, IR, Web, and Semantic Web, to industrial players such as Google, Yahoo, and Microsoft. In this essay we explore what we can do to improve upon this situation. Drawing on the lessons learned while managing relational data, we outline a structured approach to managing unstructured data. We conclude by discussing the potential implications of this approach to managing other kinds of non-relational data, and to the identify of our field.

研究の動機と目的

• 構造化されていないデータの管理という急増する課題に対処し、データ管理分野におけるデータベースコミュニティのリーダーシップが希薄化することを防ぐこと。
• AI、KDD、IR、Web、およびグーグルやマイクロソフトのような産業界プレーヤーが非構造的データ管理分野で優位を占めるリスクを軽減すること。
• スケーマモデリング、データ整合性、クエリ最適化といった、検証済みのリレーショナルデータベースの原則を、非構造的データワークロードに適応させること。
• スケーラビリティ、正しさ、使いやすさを支える、整合的かつ原理的基盤を非構造的データ管理に確立すること。
• 非構造的データ処理を第一級の研究的・工学的分野として形式化することで、データベース分野のアイデンティティと関連性を再確立すること。

提案手法

• リレーショナルデータベースシステムにインspiredされた体系的かつ構造的な手法を採用し、非構造的データのためのスキーマ推論とデータモデリングを含むこと。
• 情報検索、自然言語処理、セマンティックウェブ技術の手法を統合した、統一されたデータ管理スタックに統合すること。
• 非構造的データのためのデータインジェスト、スキーマ発見、インデクシング、クエリ処理を分離するレイヤードアーキテクチャを提案すること。
• 半構造的・非構造的データの文脈において、トランザクション管理、クエリ最適化、整合性制約といった、検証済みのデータベース概念を活用すること。
• 一貫したクエリおよびストレージ操作の基盤として、形式的データモデル（例：XML、JSON、またはグラフベースのモデル）を採用すること。
• 非構造的データの管理を体系的かつ再現可能でスケーラブルに行えるツールチェーンと標準化を推進すること。

実験結果

リサーチクエスチョン

• RQ1 AIコミュニティとIRコミュニティの非構造的データ分野における優位性が高まる中で、データベースコミュニティがどのようにしてそのリーダーシップを再確立できるか。
• RQ2 リレーショナルデータベースシステムから得られるどのような原則が、非構造的および半構造的データを効果的に管理するために適応可能か。
• RQ3 非構造的データの管理性を向上させるために、スキーマ推論、インデクシング、クエリ最適化といった構造的要素をどのように適用できるか。
• RQ4 非構造的データ管理に形式的かつ原理的アプローチを採用することで、データ品質、一貫性、パフォーマンスがどのように向上するか。
• RQ5 こうした構造的アプローチが、データベース研究分野のアイデンティティと将来の方向性に及える長期的影響は何か。

主な発見

• データベースコミュニティが非構造的データに対する体系的かつ原理的なアプローチを開発しない限り、データ管理分野における関連性を失うリスクがある。
• スケーマモデリング、クエリ最適化、整合性制約といった、コアなデータベース概念は、非構造的データに適応させることで、管理性と信頼性を向上させることができる。
• 体系的アプローチにより、アドホックまたはヒューリスティックな手法と比較して、非構造的データシステムにおけるスケーラビリティ、正しさ、相互運用性が向上する。
• IR、AI、セマンティックウェブコミュニティの技術を統合した統一されたデータベースフレームワークは、より強固で保守性の高いデータ管理システムを実現できる。
• こうしたフレームワークを採用することで、データベース分野のアイデンティティが再確立され、今後のデータ中心の研究とイノベーション分野におけるリーダーシップが保証される。
• 本論文は、非構造的データをリレーショナルデータと同等の厳密さで扱うことが、将来のデータ管理システムにとって不可欠であると結論づけている。