[論文レビュー] The Expected Optimal Labeling Order Problem for Crowdsourced Joins and Entity Resolution

Jiannan Wang, Guoliang Li+3 more|arXiv (Cornell University)|Sep 26, 2014

Mobile Crowdsensing and Crowdsourcing参考文献 2被引用数 3

ひとこと要約

この論文は、著者らの2013年SIGMODにおけるクラウドソーシング型エンティティレゾリューションに関する研究における欠陥を是正する。その研究で期待最適ラベル順序（EOLO）アルゴリズムの最適性を誤って主張していたが、実際にはEOLO問題はNP困難であることが判明した。著者らは、問題の複雑さを正しく特定したVesdapuntらの貢献を認め、アプローチを再考した。ただし、元のフレームワークおよび実験結果は、最適性に関する主張の訂正にもかかわらず、依然として有効である。

ABSTRACT

In the SIGMOD 2013 conference, we published a paper extending our earlier work on crowdsourced entity resolution to improve crowdsourced join processing by exploiting transitive relationships [Wang et al. 2013]. The VLDB 2014 conference has a paper that follows up on our previous work [Vesdapunt et al., 2014], which points out and corrects a mistake we made in our SIGMOD paper. Specifically, in Section 4.2 of our SIGMOD paper, we defined the "Expected Optimal Labeling Order" (EOLO) problem, and proposed an algorithm for solving it. We incorrectly claimed that our algorithm is optimal. In their paper, Vesdapunt et al. show that the problem is actually NP-Hard, and based on that observation, propose a new algorithm to solve it. In this note, we would like to put the Vesdapunt et al. results in context, something we believe that their paper does not adequately do.

研究の動機と目的

• クラウドソーシング型エンティティレゾリューションに関する著者らの2013年SIGMOD論文における誤った最適性主張を是正すること。
• 推移的推論の仮定のもとで、期待最適ラベル順序（EOLO）問題がNP困難であることを明確にすること。
• EOLOアルゴリズムの最適性に関する誤った主張を削除することで、元のフレームワークを更新すること。
• Vesdapuntらの貢献を文脈づけ、EOLOの証明における誤りを特定・是正したことを明記すること。
• EOLO要因の訂正にもかかわらず、元のフレームワークおよび実験結果の整合性を保証すること。

提案手法

• 推移的整合性の正しいモデルを用いて、EOLO問題におけるクラウドソーシング対の期待数の確率計算を再評価した。
• 元の最適性証明が、確率空間にありえないケースを含めることで失敗したことを特定した。
• 5つの等確率の整合的ラベル構成に基づき、3番目のペア（b,c）の確率を0.25から0.4に修正した。
• SIGMOD 2013論文の4.2節の例題を、2.25ではなく正しい期待値2.4に更新した。
• SIGMOD 2013論文のarXiv版を更新し、最適性の主張を削除するとともに、VesdapuntらのVLDB 2014論文を引用した。
• EOLO要因の訂正にかかわらず、元のフレームワークおよび実験結果を維持した。

実験結果

リサーチクエスチョン

• RQ1 期待最適ラベル順序（EOLO）問題は、元々主張されたように多項式時間で解けるのか？
• RQ2 推移的関係を用いてラベルを推定する場合、正しいクラウドソーシング対の期待数は何か？
• RQ3 EOLOアルゴリズムの元の最適性証明が失敗した理由は何か？
• RQ4 EOLO問題のNP困難性は、元のフレームワークの有効性にどのような影響を与えるか？
• RQ5 EOLOの主張を訂正した後も、元の論文の実験結果はどの程度有効に保たれるか？

主な発見

• 元のEOLOアルゴリズムが最適であるという主張は、証明で使用された確率空間の誤りにより誤りである。
• 3ペアの例では、3番目のペアの確率を正しく計算しなおした結果、期待されるクラウドソーシング対の数は2.25ではなく2.4に修正される。
• Vesdapuntらが示したように、元の研究で用いられた推移性仮定のもとで、EOLO問題はNP困難である。
• 再分析により、3番目のペア（b,c）がクラウドソーシングされる確率は、0.25ではなく0.4に修正される。これは、整合性のないラベル構成を除外した結果である。
• 元のフレームワークおよび実験結果は、EOLO要因の訂正にもかかわらず、依然として正しく、影響を受けない。
• VesdapuntらのVLDB 2014論文は、EOLO問題に対して有効で改善されたアルゴリズムを提供しているが、実際の実験データからは、性能が「桁違いに向上する」という主張は裏付けられていない。