[論文レビュー] Auctus: A Dataset Search Engine for Data Augmentation

Sonia Castelo, Rémi Rampin+4 more|arXiv (Cornell University)|Feb 10, 2021

Data Quality and Management参考文献 22被引用数 5

ひとこと要約

Auctus は、実際のデータセットの内容をプロファイルすることで、時間的・空間的・結合／ユニオン操作を含む高度な複数制約クエリを可能にするデータセット検索エンジンです。これにより、データ発見と拡張が促進され、機械学習モデルの性能が向上します。自転車利用予測タスクにおいて、R²スコアを 0.25 から 0.56 まで向上させました。

ABSTRACT

The large volumes of structured data currently available, from Web tables to open-data portals and enterprise data, open up new opportunities for progress in answering many important scientific, societal, and business questions. However, finding relevant data is difficult. While search engines have addressed this problem for Web documents, there are many new challenges involved in supporting the discovery of structured data. We demonstrate how the Auctus dataset search engine addresses some of these challenges. We describe the system architecture and how users can explore datasets through a rich set of queries. We also present case studies which show how Auctus supports data augmentation to improve machine learning models as well as to enrich analytics.

研究の動機と目的

• メタデータが不完全または一貫性のない場合、多様で分散されたリポジトリ間で関連する構造化データセットを発見する課題に対処すること。
• キーワード検索を超えた表現力のあるクエリ（空間的・時間的・データ統合制約を含む）をユーザーが実行できるようにすること。
• 互換性のあるデータセットの特定と結合を通じてデータ拡張を支援し、機械学習モデルの性能を向上させること。
• Web検索の使い慣れた感覚とデータ分析可視化を組み合わせた直感的なWebベースのインターフェースを提供し、効果的なデータセット探索を可能にすること。
• RESTおよびPython APIを介して外部分析ツールとの統合を支援し、データサイエンスワークフローでの利用を促進すること。

提案手法

• Socrata や Zenodo、World Bank Open Data などのソース、およびユーザーのアップロードから、拡張可能なプラグインを介してデータセットをインジェストする。
• 独自のデータプロファイラーを用いて、データ型、空間的・時間的フィールド、データスケッチを含む、カラムレベルのメタデータを抽出する。
• 時間範囲、地理的領域、結合／ユニオン制約を含む複雑なクエリの効率的評価を可能にするために、構造化メタデータとプロファイリング情報をインデックス化する。
• キーワード、空間的、時間的、統合制約を1つの検索で組み合わせられるWebインターフェースを通じて、クエリの構成をサポートする。
• クエリ対象のデータセットと外部データセット間の結合可能なカラムを自動で特定し、集計関数を用いた即時のデータ拡張を可能にする。
• REST API および Python クライアントを通じて結果を公開し、下流での利用を想定して、CSV および D3M 形式での拡張データセットのマテリアライゼーションをサポートする。

実験結果

リサーチクエスチョン

• RQ1 メタデータが不完全または一貫性のない場合、キーワード検索を超えてどのようにデータセット発見を改善できるか？
• RQ2 データセット内容の自動プロファイリングが、より豊富で表現力のあるクエリを可能にする程度はどの程度か？
• RQ3 結合（ジョイン）やユニオンをサポートする検索エンジンが、機械学習モデルのトレーニングデータの質と有用性を顕著に向上させられるか？
• RQ4 Web検索とデータ分析の比喩を統合した一元的なインターフェースが、非エキスパートユーザーがデータセットを発見・拡張するのをどの程度効果的に支援するか？
• RQ5 検索エンジンを介した自動データ拡張が、実世界のユースケースにおける予測モデルのパフォーマンスにどのような影響を与えるか？

主な発見

• Auctus は、空間的・時間的・データ統合操作を含む、複雑な複数制約クエリを効果的にサポートし、単なるキーワードマッチングを超えたデータセットの発見と結合を可能にしました。
• 自転車利用予測タスクにおいて、Auctus を通じて天気データ（例：降雨量）をデータセットに追加することで、R² スコアが 0.25 から 0.56 まで向上し、明確なパフォーマンス向上が確認されました。
• システムは Social Conflict Analysis Database (SCAD) を、グリッドベースの紛争データセットと統合し、国家ベースの暴力の予測因子としての不安定化要因の分析を可能にしました。
• Auctus のプロファイラーは、多様なデータセットにおいて空間的・時間的フィールドを正確に同定でき、19,000件のインデックス化済みデータセットを対象とした効率的なインデックス化とクエリ処理を実現しました。
• RESTおよびPython APIを介した外部分析ツールとの統合により、データサイエンスパイプラインにおけるシームレスなワークフロー自動化が可能になりました。
• ユーザーインタラクションの研究では、検索と可視化の比喩を組み合わせたハイブリッドUIが、データセットの関連性および互換性の探索と検証能力の向上に寄与していることが示されました。