[論文レビュー] A Survey on Truth Discovery

Yaliang Li, Jing Gao+6 more|arXiv (Cornell University)|May 11, 2015

Mobile Crowdsensing and Crowdsourcing参考文献 72被引用数 8

ひとこと要約

本調査は、複数のノイズを含むデータソースからの矛盾を解消するための真実発見手法について、情報源の信頼性を推定することで包括的な概要を提供する。一貫性に基づいて反復的に情報源の信頼性と真実値を改善することで、特に信頼性が低いまたは偏った情報源が存在する状況においても、多数決投票を上回る精度を達成する。

ABSTRACT

Thanks to information explosion, data for the objects of interest can be collected from increasingly more sources. However, for the same object, there usually exist conflicts among the collected multi-source information. To tackle this challenge, truth discovery, which integrates multi-source noisy information by estimating the reliability of each source, has emerged as a hot topic. Several truth discovery methods have been proposed for various scenarios, and they have been successfully applied in diverse application domains. In this survey, we focus on providing a comprehensive overview of truth discovery methods, and summarizing them from different aspects. We also discuss some future directions of truth discovery research. We hope that this survey will promote a better understanding of the current progress on truth discovery, and offer some guidelines on how to apply these approaches in application domains.

研究の動機と目的

• ビッグデータ環境における複数の信頼性の低い情報源からの矛盾する情報の課題に対処すること。
• データタイプ、情報源の関係、真実の表現といった主要な次元において、既存の真実発見手法を体系的に比較すること。
• スケーラビリティや評価に関する点を含め、真実発見分野における今後の研究を導くために、現在のアプローチのギャップを特定すること。

提案手法

• 真実発見は、一貫性に基づいて情報源の信頼性と真実値を反復的に推定する、期待最大化に類似した反復的フレームワークを用いる。
• 一貫した情報をより頻繁に提供する情報源がより信頼性が高いかと仮定し、真実は高信頼性の情報源によって支持されるものとみなす。
• 情報源の信頼性を真実の主張を提供する確率としてモデル化し、一貫したデータパターンからのフィードバックによって更新する。
• カテゴリー、数値、順位データなど、さまざまなデータタイプをサポートし、それぞれのタイプに適したスコア関数を備える。
• 教師なし学習のフレームワークであり、学習に真のラベル（グランドトゥルース）を一切使用しない。
• 知識グラフ構築、クラウドソーシング、ソーシャルメディア分析など、多様な分野への統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 真のラベルが利用できない状況で、真実発見手法はどのように情報源の信頼性を効果的に推定できるか？
• RQ2 仮定、データタイプ、スケーラビリティの観点から、既存の真実発見アプローチの主な違いとトレードオフは何か？
• RQ3 真実発見は、オブジェクトと情報源の間の複雑な関係をモデル化することで、精度を向上させることができるか？
• RQ4 真実発見のパフォーマンスを評価する上で、真のラベルの限られた利用可能性がもたらす主な課題は何か？
• RQ5 大規模な実世界のデータに対して、真実発見を効率的かつスケーラブルに実装するにはどうすればよいか？

主な発見

• 多数決投票よりも真実発見が顕著に優れていることが、エベレストの標高の例で示された。多数決の情報源が誤りであっても、真の値を特定できる。
• Web検索結果、ソーシャルメディア、クラウドソーシングプラットフォームなど、多様な情報源からの矛盾するデータを効果的に処理できる。
• 情報源の信頼性推定は、知識グラフ構築や情報抽出といった後続タスクの品質を向上させるために、低品質データをフィルタリングするのに有効である。
• 医療、センサーネットワーク、MOOCにおける自動採点など、多様な分野に応用可能である。
• 有望な手法ではあるが、実世界の設定では真のラベルデータが限られるため、パフォーマンス評価は依然として困難である。
• スケーラビリティとオブジェクト関係のモデル化は、今後の研究における重要な未解決課題として特定されている。