[論文レビュー] Dataset-On-Demand: Automatic View Search and Presentation for Data Discovery

Raul Castro Fernandez, Nan Tang+3 more|arXiv (Cornell University)|Nov 26, 2019

Data Quality and Management参考文献 28被引用数 4

ひとこと要約

本稿では、ユーザーが望ましいスキーマを指定することで、異種のデータソースを横断して意味的に正しいデータビューを自動的に発見する、Dataset-On-Demand (DoD) を紹介する。4C分類法（互換性、包含、補完、矛盾）を用いることで、候補となるビューの数を2–10倍に削減し、ユーザーが数分以内に有意義に絞り込まれたセットから正しいビューを選択できるようにする。

ABSTRACT

Many data problems are solved when the right view of a combination of datasets is identified. Finding such a view is challenging because of the many tables spread across many databases, data lakes, and cloud storage in modern organizations. Finding relevant tables, and identifying how to combine them is a difficult and time-consuming process that hampers users' productivity. In this paper, we describe Dataset-On-Demand (DoD), a system that lets users specify the schema of the view they want, and have the system find views for them. With many underlying data sources, the number of resulting views for any given query is high, and the burden of choosing the right one is onerous to users. DoD uses a new method, 4C, to reduce the size of the view choice space for users. 4C classifies views into 4 classes: compatible views are exactly the same, contained views present a subsumption relationship, complementary views are unionable, and contradictory views have incompatible values that indicate fundamental differences between views. These 4 classes permit different presentation strategies to reduce the total number of views a user must consider. We evaluate DoD on two key metrics of interest: its ability to reduce the size of the choice space, and the end to end performance. DoD finds all views within minutes, and reduces the number of views presented to users by 2-10x.

研究の動機と目的

• 現代の組織において、大規模で異種のデータソースに跨る正しいデータビューを発見する課題に対処すること。
• 望ましいビューのためのテーブルとジョインの正しい組み合わせを選択する際の、ユーザーの認知的負荷と時間的負担を軽減すること。
• 主キー-外部キー（PK-FK）グラフを仮定するが、意味的曖昧性や誤ったジョインを処理できない既存のクエリ例による検索システムの限界を克服すること。
• スキーマ知識や手動でのジョインパス定義を必要とせず、属性とサンプルタプルを用いて望ましいビューを指定できるようにすること。
• 意味的・構造的分析を用いて候補となるビューを知的に絞り込み、分類することで、ユーザーの関与を最終選択フェーズに最小限に抑えること。

提案手法

• ユーザー入力を、目的の属性とサンプルタプルを指定して定義されたターゲットスキーマを示すクエリビューの形で受ける。
• すべての可能なテーブルの組み合わせとジョインパスを探索することで、クエリを満たすすべての候補ビューを自動的に発見する。
• 4C分類法を適用し、ビューを4つの意味的カテゴリにグループ化する：互換性（同一）、包含（包含）、補完（結合可能）、矛盾（不適合な値）。
• 属性の意味的特徴、値の重複度、構造的一致性に基づいて、4Cチェイニングアルゴリズムを用いてビューをこれらのカテゴリに分類する。
• 互換性のあるビューを統合表示し、包含されるビューを除外し、補完的または矛盾するビューを強調表示することで、ユーザーの認知的負荷を軽減するプレゼンテーション戦略を採用する。
• サンプリングジョインとクエリプッシュダウン技術を用いて、大規模なテーブルにおけるメモリ使用量と実行時間を管理し、ビュー検索のパフォーマンスを最適化する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが異種で分散されたデータソースに跨る望ましいデータビューを指定した場合、候補となるビューの数をどのようにして削減できるか？
• RQ2 ユーザーの直感的な選択を支援するための、意味的および構造的基準として効果的なものは何か？
• RQ3 実世界のデータ環境において正確性とパフォーマンスを維持しつつ、ユーザーの関与を最小限に抑えることは可能か？
• RQ4 意味的曖昧性や誤ったジョインが存在する中で、4C分類法は、勤務先住所と自宅住所といった意味的に異なるビューを効果的に区別できるか？
• RQ5 自動化されたビュー検索と分類は、従来の手動またはヒューリスティックベースのデータ発見手法に比べて、どの程度優れているか？

主な発見

• 4C分類法を用いることで、DoDはビュー選択肢の空間を2～10倍に縮小し、ユーザーの認知的負荷を顕著に軽減した。
• システムは数分以内にすべての候補ビューを発見することができ、小規模なクエリではしばしば10秒未塔で完了し、エンドツーエンドのパフォーマンスが優れていることが示された。
• 4C法は意味的類似性、包含関係、結合可能性、不適合性に基づいてビューを効果的に特定・グループ化でき、意味のあるプレゼンテーション戦略を可能にした。
• サンプリングジョインとクエリプッシュダウンの最適化により、ベースライン実装と比較してエンドツーエンドの実行時間が4～6倍短縮された。
• 主キー-外部キー（PK-FK）グラフを仮定しないことで、意味的不整合や曖昧なスキーママッピングが存在する実世界の環境でも、堅牢に動作することが確認された。
• 複数行のプレゼンテーション戦略により、ビューを要約することでユーザーの関与をさらに削減し、ユーザーがコンパクトで意味的にグループ化されたセットから最終選択を行うのを可能にした。