[論文レビュー] Reducing Uncertainty of Schema Matching via Crowdsourcing with Accuracy Rates

Chen Zhang, Lei Chen+3 more|arXiv (Cornell University)|Sep 11, 2018

Mobile Crowdsensing and Crowdsourcing被引用数 6

ひとこと要約

本論文は、作業者による正確性率に基づいて動的に選択・公開する対応正しさ質問（CCQ）を用いて、スキーママッピングにおける不確実性を低減する2つの適応的クラウドソーシングフレームワーク—Single CCQ および Multiple CCQ—を提案する。不確実性低減をエントロピー増加として数学的にモデル化し、理論的バウンズを伴う効率的アルゴリズムを提供することで、予算制約内で顕著な不確実性低減を達成する。

ABSTRACT

Schema matching is a central challenge for data integration systems. Inspired by the popularity and the success of crowdsourcing platforms, we explore the use of crowdsourcing to reduce the uncertainty of schema matching. Since crowdsourcing platforms are most effective for simple questions, we assume that each Correspondence Correctness Question (CCQ) asks the crowd to decide whether a given correspondence should exist in the correct matching. Furthermore, members of a crowd may sometimes return incorrect answers with different probabilities. Accuracy rates of individual crowd workers are probabilities of returning correct answers which can be attributes of CCQs as well as evaluations of individual workers. We prove that uncertainty reduction equals to entropy of answers minus entropy of crowds and show how to obtain lower and upper bounds for it. We propose frameworks and efficient algorithms to dynamically manage the CCQs to maximize the uncertainty reduction within a limited budget of questions. We develop two novel approaches, namely `Single CCQ' and `Multiple CCQ', which adaptively select, publish and manage questions. We verify the value of our solutions with simulation and real implementation.

研究の動機と目的

• 自動化されたスキーママッピングツールに内在する不確実性に対処する。これらのツールは、関連する確率とともに複数の可能なマッピングを出力する。
• 一時的なデータ統合シナリオにおいて、曖昧性を解消するために非専門家ユーザーに依存する限界を克服する。
• アマゾン・メカニカル・トゥーカなどのクラウドソーシングプラットフォームを活用し、微細な対応正しさに関する人間の判断を通じてマッピングの正確性を向上させる。
• 固定された予算下で、CCQの数（コスト）と不確実性低減のパフォーマンス（性能）のトレードオフを最適化する。
• 作業者の正確性率を確率的属性としてモデル化し、クラウド貢献者の信頼性のばらつきを考慮する。

提案手法

• 対応正しさ質問（CCQ）を、特定の属性対応が正しいかどうかを尋ねる2値のクエリとして定義する。
• 不確実性低減を、回答のエントロピーとクラウドの応答のエントロピーの差としてモデル化し、これが期待される不確実性低減に等しいことを証明する。
• CCQ選択問題を、期待される不確実性低減を最大化する問題として定式化し、サブモジュラリティを活用して(1+ε)-近似アルゴリズムを設計する。
• 動的フィードバックに基づき、1回の反復で1つの最適なCCQを選択するSingle CCQと、k個のCCQを一度に選択するMultiple CCQの2つのフレームワークを導入する。
• 回答の信頼性を重みづけし、不確実性推定値を反復的に改善するために、作業者の正確性率を事前確率として組み込む。
• 不確実性低減の理論的下限および上限を導出し、選択プロセスにおけるパフォーマンス保証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 自動化ツールが曖昧性を解消できない場合、クラウドソーシングをどのように効果的に活用してスキーママッピングにおける不確実性を低減できるか？
• RQ2 不確実性低減を最大化し、同時に提示する質問数を最小限に抑える最適なCCQ選択戦略は何か？
• RQ3 作業者の正確性率は、クラウドソーシングによる回答の信頼性と、全体の不確実性低減プロセスにどのように影響を与えるか？
• RQ4 不確実性低減を形式的にバウンディングすることは可能か？また、クラウドソーシングによる改善の理論的限界は何か？
• RQ5 変動する回答率と作業者の信頼性を考慮して、予算と時間制約下で複数のCCQを一度に最適化して選択する方法は何か？

主な発見

• 不確実性低減は、回答のエントロピーとクラウドの応答のエントロピーの差に数学的に等しく、しっかりした理論的基盤を提供する。
• CCQ選択問題はNP困難であるが、不確実性低減関数のサブモジュラリティを活用し、(1+ε)-近似アルゴリズムが提案される。
• 作業者の正確性を明示的にモデル化した場合、Multiple CCQフレームワークは、1問あたりの不確実性低減においてSingle CCQを上回る性能を示す。
• 不確実性低減の理論的バウンディングが導出され、異なる戦略間でのパフォーマンス評価と比較が可能になる。
• シミュレーションおよび実世界での実装により、限られた予算で提案されたフレームワークが顕著に不確実性を低減することが確認され、ベースライン手法を上回る。
• 作業者の正確性率は、信頼できる不確実性推定に不可欠であり、低品質な回答によるバイアスを避けるために、CCQ選択プロセスに組み込む必要がある。