[論文レビュー] Select Your Questions Wisely: For Entity Resolution With Crowd Errors

Vijaya Krishna Yalavarthi, Xiangyu Ke+1 more|arXiv (Cornell University)|Jan 28, 2017

Mobile Crowdsensing and Crowdsourcing参考文献 50被引用数 4

ひとこと要約

この論文では、クラウドワークの回答から得られる確率的エッジを用いて作業者エラーをモデル化する、パラメータフリーなクラウドソーシング型エンティティレゾリューションフレームワークPERCを提案する。局所的特徴ではなく、グローバルなクラスタリング信頼性に基づいて次のクラウドソーシング質問を選択することで、最先端の手法と比較してエンティティレゾリューションの正確性を15%向上させるとともに、クラウドソーシングコストを50%削減した。

ABSTRACT

Crowdsourcing is becoming increasingly important in entity resolution tasks due to their inherent complexity such as clustering of images and natural language processing. Humans can provide more insightful information for these difficult problems compared to machine-based automatic techniques. Nevertheless, human workers can make mistakes due to lack of domain expertise or seriousness, ambiguity, or even due to malicious intents. The state-of-the-art literature usually deals with human errors via majority voting or by assigning a universal error rate over crowd workers. However, such approaches are incomplete, and often inconsistent, because the expertise of crowd workers are diverse with possible biases, thereby making it largely inappropriate to assume a universal error rate for all workers over all crowdsourcing tasks. To this end, we mitigate the above challenges by considering an uncertain graph model, where the edge probability between two records A and B denotes the ratio of crowd workers who voted Yes on the question if A and B are same entity. In order to reflect independence across different crowdsourcing tasks, we apply the well-established notion of possible worlds, and develop parameter-free algorithms both for next crowdsourcing, as well as for entity resolution problems. In particular, using our framework, the problem of entity resolution becomes equivalent to finding the maximum-likelihood clustering; whereas for the next crowdsourcing, we identify the record pair that maximally increases the reliability of the maximum-likelihood clustering. Based on detailed empirical analysis over real-world datasets, we find that our proposed solution, PERC (probabilistic entity resolution with imperfect crowd) improves the quality by 15% and reduces the overall cost by 50% for the crowdsourcing-based entity resolution problem.

研究の動機と目的

• 普遍的な誤差率を仮定するか、多数決投票を用いる既存のクラウドソーシング型エンティティレゾリューション手法の限界を解決する。これらの手法は作業者の熟練度の多様性やバイアスを十分に考慮できない。
• 品質保証を独立問題として扱うのではなく、エンティティレゾリューションとクラウドエラーを統合的にモデル化するエンドツーエンドのパイプラインを開発する。
• グローバルなクラスタリング信頼性に基づいて次のレコードペアを知的に選択することで、クラウドソーシングコストを最小限に抑えながらエンティティレゾリューションの正確性を最大化する。
• ユーザー定義のしきい値や作業者誤差率の事前知識を不要とするため、実世界の環境での実用的導入を可能にする。

提案手法

• 2つのレコードが同じエンティティを指すかどうかに関する作業者の「YES」回答の割合を表すエッジ確率を用いて、エンティティレゾリューションを不確実グラフとしてモデル化する。
• 可能な世界の意味論を用いて、不確実グラフのすべての整合的なラベル付けの可能性を表現し、作業者回答の確率的推論を可能にする。
• クラスタ内およびクラスタ間の接続性を捉える信頼性指標を定義し、次に最適なクラウドソーシング質問を選択するための目的関数とする。
• エッジの独立性を活用して、クラスタリング信頼性の期待値向上を最大化する形で、次の質問選択を定式化し、効率的なスケーリングを実現する。
• 全体のクラスタリング信頼性に与える影響に基づいて、動的に情報量の多いレコードペアを次に照会する最適なものを選択するパラメータフリーのアルゴリズムを設計する。
• 信頼性に基づく選択と相関クラスタリングを統合することで、ノイズや一貫性のない作業者入力に対しても耐性を持つエンティティレゾリューションを実現する。

実験結果

リサーチクエスチョン

• RQ1 均一な誤差率を仮定せずに、多様な作業者エラーの影響を効果的にモデル化・軽減する方法は何か？
• RQ2 エンティティレゾリューションの正確性を最大化し、コストを最小化するために、次のクラウドソーシング質問を選択する基準として何を用いるべきか？
• RQ3 局所的特徴（例：経路長やエッジ数）に基づくヒューリスティック指標と比較して、グローバルな信頼性指標が次問選択を効果的に導くことができるか？
• RQ4 実世界のエンティティレゾリューションタスクにおいて、ドメイン固有のしきい値や事前誤差推定に依存する必要を減らすパラメータフリー手法は、どの程度の影響を及ぼすか？
• RQ5 異なるバッチサイズとデータセットにおいて、MinMax、PC-Pivot、DENSEといった最先端手法と比較して、提案手法の正確性とコスト効率はどの程度か？

主な発見

• PERCは、4つの実世界データセットにおいて、最先端手法のMinMax、DENSE、PC-Pivotと比較して、エンティティレゾリューションの正確性を15%向上させた。
• PERCは平均して必要なクラウドソーシング質問数を50%削減し、エンティティレゾリューションの総コストを顕著に低減した。
• Gymnasticsデータセットでは、F1スコア = 0.9の条件下で、PC-Pivotと比較して55.56%、MinMaxと比較して38.46%のクラウドソーシングコストを削減した。
• PERCは少ない質問数で高い正確性を達成しており、信頼性に基づく質問選択が局所的特徴に基づくアプローチよりも効果的であることを示している。
• 小さなバッチサイズは正確性を向上させるとともにコストを低減し、PERCは全テストバッチサイズにおいてbDENSEを一貫して上回った。
• PERCの次問選択処理時間は、最先端手法と比較して1桁分速く、高い計算効率を示している。