[論文レビュー] Alaska: A Flexible Benchmark for Data Integration Tasks

Valter Crescenzi, Andrea De Angelis+5 more|arXiv (Cornell University)|Jan 27, 2021

Data Quality and Management参考文献 31被引用数 4

ひとこと要約

Alaskaは、3つのドメイン（カメラ、モニタ、ノートブック）の71のECサイトから得た7万件の製品仕様を含む、現実世界の柔軟なベンチマークであり、スキーママッチングとエンティティレゾリューションをサポートする。これにより、多様なデータ特性とタスクのバリエーションを想定した、データ統合パイプラインのエンドツーエンド評価が可能となる。

ABSTRACT

Data integration is a long-standing interest of the data management community and has many disparate applications, including business, science and government. We have recently witnessed impressive results in specific data integration tasks, such as Entity Resolution, thanks to the increasing availability of benchmarks. A limitation of such benchmarks is that they typically come with their own task definition and it can be difficult to leverage them for complex integration pipelines. As a result, evaluating end-to-end pipelines for the entire data integration process is still an elusive goal. In this work, we present Alaska, the first benchmark based on real-world dataset to support seamlessly multiple tasks (and their variants) of the data integration pipeline. The dataset consists of ~70k heterogeneous product specifications from 71 e-commerce websites with thousands of different product attributes. Our benchmark comes with profiling meta-data, a set of pre-defined use cases with diverse characteristics, and an extensive manually curated ground truth. We demonstrate the flexibility of our benchmark by focusing on several variants of two crucial data integration tasks, Schema Matching and Entity Resolution. Our experiments show that our benchmark enables the evaluation of a variety of methods that previously were difficult to compare, and can foster the design of more holistic data integration solutions.

研究の動機と目的

• データ統合パイプラインのエンドツーエンド評価を支援する包括的なベンチマークの不足に対処すること。
• スキーママッチングやエンティティレゾリューションを分離して評価する既存のタスク特化型ベンチマークの制限を克服し、包括的な評価を可能にすること。
• 多様なデータ統合技術の評価を可能にする、柔軟で現実世界のデータセットを提供すること。
• 多様なユースケースとプロファイリングメタデータを備えた統一されたベンチマークを提供することで、統合的でエンドツーエンドのデータ統合ソリューションの開発を支援すること。
• 手作業でキュレートされた正例データを備えた現実世界のデータを用いて、スキーママッチングとエンティティレゾリューションの異なるバリエーション間での方法の公平な比較を可能にすること。

提案手法

• カメラ、モニタ、ノートブックの3つのドメインにまたがる71の実際のECウェブサイトから、合計7万件の製品仕様を収集した。
• カスタムWebクローラーと「Carbonara」というシステムを用いてデータを抽出し、集計サイトや国別バリエーションを除いた製品仕様に焦点を当てた。
• 属性の多様性、テキストの複雑さ、ソースの多様性などの複数の次元でデータセットをプロファイリングし、特定のデータ特性を反映するサブセットの選択を可能にした。
• スキーママッチングとエンティティレゾリューションの両方のタスクに対して、手作業で正例データをキュレートした。これには、ラベル付きの属性ペアとマッチング／非マッチングのラベルが付与されたレコードペアが含まれる。
• スキーマに依存しないエンティティレゾリューションやメディエイトスキーママッチングを含む、複数のタスクバリエーションをサポートするようにベンチマークを設計し、入力および評価用の構造化されたデータフォーマットを提供した。
• トレーニング用に正例データのサブセットを公開し、残りの正例データはF-measure評価用に秘匿した。これにより、再現可能なベンチマーク評価が可能となった。

実験結果

リサーチクエスチョン

• RQ1 現実世界のベンチマークは、統合パイプライン内で複数のバリエーションのスキーママッチングとエンティティレゾリューションタスクを柔軟に評価できるか？
• RQ2 現実のECソース間でのデータの多様性が、データ統合手法のパフォーマンスと評価にどのように影響するか？
• RQ3 キュレートされた正例データを備えたベンチマークは、多様なデータ統合技術の公平かつ再現可能な比較をどの程度可能にするか？
• RQ4 現実世界のデータを想定したベンチマークは、孤立したタスクを超えて、複雑なデータ統合パイプラインのエンドツーエンド評価を可能にするか？
• RQ5 ベンチマーク設計を、データ抽出や統合などの追加のデータ統合タスクをサポートするようにどのように拡張できるか？

主な発見

• Alaskaベンチマークには、3つのドメインにまたがる71の実際のECソースから得た7万件の製品仕様が含まれており、1万5千件の異なる属性名と顕著なデータの多様性が確認された。
• このベンチマークは、スキーマに依存しないエンティティレゾリューションやメディエイトスキーママッチングを含む、複数のタスクバリエーションをサポートしており、両タスクのラベル付きデータが提供されている。
• 2020年SIGMODプログラミングコンテストおよび2つのDI2KGチャレンジへの初期導入では、ベンチマークの実用性が実証された。この中で、29万7651件のラベル付きレコードペアと135～189件のラベル付き属性ペアがトレーニングおよび評価用に公開された。
• キュレートされた正例データにより、信頼性の高いF-measureの計算が可能となり、SIGMOD 2020コンテストでは4万4039件のマッチングおよび25万3612件の非マッチングレコードペアが公開された。
• ベンチマークのプロファイリングメタデータにより、より長いテキスト記述や高い属性多様性を示すソースのサブセットを選択することが可能である。
• 今後の拡張では、新たな垂直分野（例：生物学的データ）、匿名化されたバージョン、およびデータ抽出や統合などの追加タスクのサポートを計画しており、手作業による正例データのキュレートを自動化することで、人的作業の負担を軽減する予定である。