[論文レビュー] Truth Finding on the Deep Web: Is the Problem Solved?

Xian Li, Dong Xin+3 more|arXiv (Cornell University)|Mar 1, 2015

Mobile Crowdsensing and Crowdsourcing参考文献 17被引用数 50

ひとこと要約

本稿は、株式およびフライト分野におけるDeep Webデータの真実特定を調査し、高リスクの応用にもかかわらず、広範な不一致と低品質な情報源が存在することを明らかにした。最先端の統合手法で平均96%の正確性を達成しているものの、性能は不安定であり、情報源の信頼性とデータの複写が結果に顕著に影響を与えることが判明した。これにより、現在の技術には重大なギャップがあり、統合手法、複写検出、ゴールドスタンダード構築の改善が不可欠であることが示された。

ABSTRACT

The amount of useful information available on the Web has been growing at a dramatic pace in recent years and people rely more and more on the Web to fulfill their information needs. In this paper, we study truthfulness of Deep Web data in two domains where we believed data are fairly clean and data quality is important to people's lives: {\em Stock} and {\em Flight}. To our surprise, we observed a large amount of inconsistency on data from different sources and also some sources with quite low accuracy. We further applied on these two data sets state-of-the-art {\em data fusion} methods that aim at resolving conflicts and finding the truth, analyzed their strengths and limitations, and suggested promising research directions. We wish our study can increase awareness of the seriousness of conflicting data on the Web and in turn inspire more research in our community to tackle this problem.

研究の動機と目的

• 株式やフライト情報など、高リスク分野におけるDeep Webデータの真実性と一貫性を評価すること。
• 既存のデータ統合手法が、複数の情報源間の矛盾を信頼性を持って解消し、真の値を特定できるかどうかを評価すること。
• 現在の統合手法における限界を同定し、情報源信頼モデル化、データ複写検出、ゴールドスタンダード構築における研究ギャップを明らかにすること。
• 「クリーンな」分野であってもデータ品質が著しく損なわれており、統合手法がまだ堅牢で一貫性がないことを示唆することで、さらなる研究を促進すること。

提案手法

• 株式およびフライト分野の複数の情報源からDeep Webデータを収集・整備し、手動によるスキーマおよびインスタンスマッピングを用いて異種性を解消した。
• 特定の権威ある情報源を信頼してゴールドスタンダードを構築したが、これらのスタンダード自体に誤りが含まれる可能性があることを認識した。
• 投票、信頼度を考慮した統合、複写を考慮した統合（例：AccuCopy）、類似度に基づく手法を含む、包括的な最先端のデータ統合手法を適用した。
• 正確性、再現率、F1スコアを用いて統合結果を評価し、手法間およびデータ項目ごとの性能を比較し、誤差要因を分析した。
• 曖昧さ、古くなったデータ、誤りによるデータの矛盾を特定し、情報源の複写および信頼性が統合精度に与える影響を分析した。
• 種の信頼性推定、分類別品質検出、アンサンブル統合、複数真実処理といった、今後の手法改善を提案した。

実験結果

リサーチクエスチョン

• RQ1 株式やフライトなど高リスク分野におけるDeep Webデータの整合性はどの程度で、値が誤りまたは矛盾している割合はどの程度か？
• RQ2 権威ある情報源は正確かつ包括的なデータを提供しているのか。それらに完全に依存できるのか？
• RQ3 現在の最先端のデータ統合手法は、矛盾の解消と真の値の特定にどの程度有効か？
• RQ4 情報源の信頼性、データ複写、スキーマ／インスタンスマッピングの観点から、既存の統合手法の主な限界は何か？
• RQ5 より信頼性の高いデータ統合を実現するためには、ゴールドスタンダード構築、複写検出、評価フレームワークにどのような改善が必要か？

主な発見

• 70%のデータ項目で複数の値が複数の情報源に存在し、そのうち50%の矛盾は曖昧さ、20%は古くなったデータ、残り30%は明確な誤りによるものであった。
• 正しい値の70%が過半数の情報源（50%以上）によって提供されていたが、10%以上の正しい値が誤った代替値よりも頻度が低く報告されていた。
• 最先端の統合手法は、両データセットで平均96%の正確性を達成したが、手法やデータ項目ごとの性能に顕著な差が見られた。
• 正確な情報源信頼性推定が可能であれば、最良の統合結果における残りの誤りのほぼ半分を是正できる可能性があり、信頼モデル化が重要だが、現状では不正確であることが示された。
• 情報源間でのデータ複写が観察され、しばしば低品質なデータを含んでいた。これにより真実特定が複雑化し、複写検出の改善が求められることが示唆された。
• どの統合手法も一貫して他を上回ることはなく、すべての手法が普遍的に優れていたわけではなく、アンサンブルまたは適応型統合戦略の導入が不可欠であることが示された。