[論文レビュー] Fault-Tolerant Entity Resolution with the Crowd

Anja Gruenheid, Besmira Nushi+3 more|arXiv (Cornell University)|Dec 2, 2015

Mobile Crowdsensing and Crowdsourcing参考文献 38被引用数 14

ひとこと要約

本稿では、クラウドソーシングデータを用いたエントリティレゾリューション（ER）のフェイルセーフフレームワークを提案し、ノイズの多いワーカー入力を解釈するための票のグラフとMinMax意思決定関数を導入することで、ポジティブおよびネガティブな信号を保持する。予算制約下でのタスク選択と並列処理を最適化することで、コンSENSUSベースの手法に比べて少なくとも20%高いER品質を達成する。

ABSTRACT

In recent years, crowdsourcing is increasingly applied as a means to enhance data quality. Although the crowd generates insightful information especially for complex problems such as entity resolution (ER), the output quality of crowd workers is often noisy. That is, workers may unintentionally generate false or contradicting data even for simple tasks. The challenge that we address in this paper is how to minimize the cost for task requesters while maximizing ER result quality under the assumption of unreliable input from the crowd. For that purpose, we first establish how to deduce a consistent ER solution from noisy worker answers as part of the data interpretation problem. We then focus on the next-crowdsource problem which is to find the next task that maximizes the information gain of the ER result for the minimal additional cost. We compare our robust data interpretation strategies to alternative state-of-the-art approaches that do not incorporate the notion of fault-tolerance, i.e., the robustness to noise. In our experimental evaluation we show that our approaches yield a quality improvement of at least 20% for two real-world datasets. Furthermore, we examine task-to-worker assignment strategies as well as task parallelization techniques in terms of their cost and quality trade-offs in this paper. Based on both synthetic and crowdsourced datasets, we then draw conclusions on how to minimize cost while maintaining high quality ER results.

研究の動機と目的

• エントリティレゾリューション（ER）における信頼性の低い、ノイズの多いクラウドワーカーの入力に対処しつつ、コストを最小限に抑え、結果の品質を最大化すること。
• 矛盾するおよび誤ったワーカーの回答を処理できる耐障害性の高いデータ解釈メカニズムを構築し、ネガティブフィードバックを無視しないこと。
• 次回のクラウドソーシング問題を解決するため、次にクエリする最適なレコードペアを選択することで、単位コストあたりの情報量を最大化すること。
• インクリメンタルで耐障害性のあるERにおける、タスク割り当ておよび並列処理戦略のコスト・品質トレードオフを評価すること。
• 耐障害性機構が現実世界および合成データセットにおいて、コンセンサスベースのアプローチを上回ることを実証すること。

提案手法

• ワーカーからのポジティブおよびネガティブな信号を符号化するための票のグラフデータ構造を導入し、ペアワイズ関係性とその信頼性を捉える。
• ノイズの多い票を解釈する耐障害性の高い手法としてMinMax意思決定関数を提案し、高い誤り率下でもワーカー信号と整合性を保つ。
• 新しいクラウドレスポンスが得られるたびにMinMax行列および票のグラフを段階的に更新することで、オンラインでインクリメンタルERを可能にする。
• 次回のクラウドソーシング問題に対するキューイング戦略を設計し、期待される情報量に基づいてタスクを優先順位付けすることで、不確実性または誤りを最小限に抑える。
• タスク内およびタスク間の並列処理を活用して効率を向上させ、コストと結果品質のトレードオフを評価する。
• 耐障害性のある解釈とタスク選択をインクリメンタルERフレームワークに統合し、時間経過に伴って整合性と正しさを維持する。

実験結果

リサーチクエスチョン

• RQ1 矛盾する、ノイズの多い、あるいは悪意のあるクラウドワーカーの回答を解釈する際、ネガティブフィードバックを無視せずに、どのようにしてエントリティレゾリューションで処理できるか。
• RQ2 コストを最小限に抑えながら情報量を最大化するための、次にクラウドソーシングする最適なレコードペアの選択戦略は何か。
• RQ3 異なるタスク割り当ておよび並列処理戦略は、クラウドソーシングERの品質とコストにどのように影響を与えるか。
• RQ4 耐障害性のあるデータ解釈メカニズムは、現実世界のERシナリオにおいて、コンセンサスベースのアプローチをどの程度上回るか。
• RQ5 耐障害性のあるERは、クラウドソーシングを超えて、他の信頼性の低いデータソースにも一般化可能か。

主な発見

• 提案されたMinMax意思決定関数は、ワーカーからのポジティブおよびネガティブな信号を保持して推論することで、ER品質を著しく向上させ、2つの現実世界データセットにおいてコンセンサスベースの手法に比べて少なくとも20%高い性能を達成した。
• 不確実性の低減または誤りの最小化を優先する次回のクラウドソーシングキューイング戦略は、ランダムまたはヒューリスティックなタスク選択に比べ、より低い予算で高い結果品質を達成した。
• タスク内およびタスク間の並列処理技術は、結果品質を劣化させることなく実行効率を向上させ、フレームワークのスケーラブルな展開を可能にした。
• 合成データおよびクラウドソーシングデータ（Amazon Mechanical Turk経由）を用いた実験的評価により、耐障害性機構が最大30%のワーカー誤り率下でも頑健であることが確認された。
• このフレームワークはクラウドソーシングを超えて一般化可能であり、データ品質が不確実なあらゆる信頼性の低いデータソースへ応用可能である。
• ネガティブフィードバックを組み込み、耐障害性のある解釈を用いることが重要であることが実証された。矛盾を無視すると、最適でない、一貫性のないER結果が生じる。