[論文レビュー] Record fusion: A learning approach

Alireza Heidari, George Michalopoulos+3 more|arXiv (Cornell University)|Jun 18, 2020

Data Quality and Management参考文献 27被引用数 6

ひとこと要約

本論文は、段階的加法モデルを用いて属性レベル、レコードレベル、データベースレベルの信号を統合し、各セルの特徴ベクトルを生成する学習ベースのレコード統合フレームワークを提案する。これにより、正確なエンティティ統合が可能となる。本手法は、ソース情報が利用可能な場合に平均精度98％を達成し、ソース情報が利用不可の場合には94％を達成する。これは、ソースデータが入手不可の場合、先行手法よりも最大45％の精度向上を達成している。

ABSTRACT

Record fusion is the task of aggregating multiple records that correspond to the same real-world entity in a database. We can view record fusion as a machine learning problem where the goal is to predict the "correct" value for each attribute for each entity. Given a database, we use a combination of attribute-level, recordlevel, and database-level signals to construct a feature vector for each cell (or (row, col)) of that database. We use this feature vector alongwith the ground-truth information to learn a classifier for each of the attributes of the database. Our learning algorithm uses a novel stagewise additive model. At each stage, we construct a new feature vector by combining a part of the original feature vector with features computed by the predictions from the previous stage. We then learn a softmax classifier over the new feature space. This greedy stagewise approach can be viewed as a deep model where at each stage, we are adding more complicated non-linear transformations of the original feature vector. We show that our approach fuses records with an average precision of ~98% when source information of records is available, and ~94% without source information across a diverse array of real-world datasets. We compare our approach to a comprehensive collection of data fusion and entity consolidation methods considered in the literature. We show that our approach can achieve an average precision improvement of ~20%/~45% with/without source information respectively.

研究の動機と目的

• 複数のソースからの矛盾するレコードを統合し、1つの正確なエンティティ表現にまとめる課題に対処すること。
• ヒューリスティックな投票やソース信頼性の推定に依存する従来のレコード統合手法が、しばしば不適切な結果をもたらすのを改善すること。
• 統計的性質、整合性制約、ソース情報といったすべての利用可能な信号を活用するが、明示的なソース信頼スコアの必要がない、堅牢でエンドツーエンドの学習フレームワークを構築すること。
• ソース情報が欠如している状況でも高精度なレコード統合を可能にし、高価な人的介入による解決に依存するのを減らすこと。
• データ拡張と反復的改善の有効性を示すこと。特に、ラベル付きデータが限られる状況でのモデル性能向上に寄与する。

提案手法

• フレームワークは、属性レベル、レコードレベル、データベースレベルの信号を用いて、各データベースセルの特徴ベクトルを構築する。
• 各段階で、元の特徴のサブセットと、直前の段階からの予測を組み合わせることで、より複雑な特徴空間を形成する、新しい段階的加法モデルを採用する。
• 各段階で、更新された特徴空間上でソフトマックス分類器を訓練する。これにより、元のデータに対する深い非線形変換が可能になる。
• 弱い教師信号のアプローチを採用し、整合性制約と統計的性質を活用して、自動的にレコードを統合する。
• データ拡張を適用して合成クラスタを生成し、低リソースデータセットにおける性能向上を図る。これにより、トレーニングの多様性が向上する。
• モデルのフィードバックを用いて、表現と予測を反復的に改善するフィードバックループを実装し、収束性と精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ソース信頼スコアに依存せずに、マジョリティ投票のような従来手法を上回る学習ベースのアプローチは、レコード統合で有効に機能するか？
• RQ2 段階的加法モデルは、レコード統合のための特徴間の複雑で非線形的な関係をどれほど効果的に捉えられるか？
• RQ3 ラベル付きトレーニングデータが限られる状況で、データ拡張は性能向上にどれほど寄与するか？
• RQ4 ソース情報の有無が、統合モデルの精度と耐性にどのように影響するか？
• RQ5 提案されたフレームワークは、データ品質や構造が異なる多様な実世界データセットにおいても、高い精度を維持できるか？

主な発見

• ソース情報が利用可能な場合、提案手法は平均精度98％を達成し、先行手法よりも20％の改善を示した。
• ソース情報が利用不可の場合、平均精度は94％に達し、既存手法よりも45％の精度向上を達成した。
• データ拡張は、低リソースデータセットにおける性能向上に顕著な寄与を示し、合成クラスタと元のクラスタの比率が10–30％の範囲でピーク性能が達成された。
• 反復的アルゴリズムは、トレーニングデータサイズにかかわらず15イテレーション以内に最適な精度に収束した。
• 50個のランダムシードに対して中央値の性能が高く維持されたため、異なるデータ分割条件でもモデルの堅牢性と安定性が確認された。
• 本フレームワークは、単純な集約に過度に依存するヒューリスティック手法（例：マジョリティ投票）を上回り、しばしば不正確な結果をもたらすことが確認された。