[論文レビュー] Crowdsourcing via Pairwise Co-occurrences: Identifiability and Algorithms

Shahana Ibrahim, Xiao Fu+2 more|arXiv (Cornell University)|Sep 26, 2019

Sparse and Compressive Sensing TechniquesEngineering参考文献 39被引用数 21

ひとこと要約

本稿では、アノテーターの応答の対比較共起性を用いた、クラウドソーシングにおけるラベル集約のための新規フレームワークを提案する。この手法により、テンソルベースの手法よりも低い標本複雑性で、Dawid-Skeneモデルの識別可能性を証明可能に実現する。2次統計と代数的アルゴリズムを活用することで、希少なラベル付けや信頼性の低いアノテーター下でも、誤り行列と真のラベル事前分布の同定において優れた性能を発揮し、最先端のベースラインを上回る。

ABSTRACT

The data deluge comes with high demands for data labeling. Crowdsourcing (or, more generally, ensemble learning) techniques aim to produce accurate labels via integrating noisy, non-expert labeling from annotators. The classic Dawid-Skene estimator and its accompanying expectation maximization (EM) algorithm have been widely used, but the theoretical properties are not fully understood. Tensor methods were proposed to guarantee identification of the Dawid-Skene model, but the sample complexity is a hurdle for applying such approaches---since the tensor methods hinge on the availability of third-order statistics that are hard to reliably estimate given limited data. In this paper, we propose a framework using pairwise co-occurrences of the annotator responses, which naturally admits lower sample complexity. We show that the approach can identify the Dawid-Skene model under realistic conditions. We propose an algebraic algorithm reminiscent of convex geometry-based structured matrix factorization to solve the model identification problem efficiently, and an identifiability-enhanced algorithm for handling more challenging and critical scenarios. Experiments show that the proposed algorithms outperform the state-of-art algorithms under a variety of scenarios.

研究の動機と目的

• クラウドソーシングラベリングにおけるDawid-Skeneモデルを同定するためのテンソルベース手法の高い標本複雑性を解消すること。
• 3次統計に依存せず、2次統計（対比較共起性）を用いたフレームワークを構築し、標本効率を向上させること。
• 実際の状況（例えば、熟練したアノテーターが存在する、部分的なラベリングがあるなど）下でもモデルの識別可能性を保証すること。
• 大規模なクラウドソーシングアプリケーションに適した、効率的かつロバストなアルゴリズムを設計し、収束性と精度を理論的に保証すること。
• 多様で挑戦的なラベリング状況下で、既存の最先端手法を上回るラベル集約の精度を達成すること。

提案手法

• アノテーターの応答間の対比較共起統計を用いて、結合応答分布を推定し、3次統計に依存しないようにする。
• 凸幾何学と構造的行列分解にインspiredされた代数的アルゴリズムを用いて、モデル同定問題を効率的に解く。
• 高信頼性のアノテーターが存在しない場合に対応する、識別可能性を強化した反復最適化アルゴリズムを導入する。
• 少なくとも1人のアノテーターが十分に高い信頼性（例えば、誤り行列が単位行列に近い）を持つという仮定に依存する。
• 濃度不等式を用いて、アノテーターによるデータのランダムサンプリング下で、対比較共起性の信頼性のある推定に必要な標本複雑性を制限する。
• 確率単体内での応答分布の幾何的構造を分析することで、識別可能性に関する理論的保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 3次統計に依存せず、アノテーター応答の対比較共起性のみを用いてDawid-Skeneモデルを同定できるか？
• RQ2 提案された対比較共起性フレームワーク下で、真のラベル事前分布とアノテーター誤り行列の識別可能性を保証する条件は何か？
• RQ3 特に希少なラベリング下で、実際のところ、本手法の標本複雑性はテンソルベース手法と比べてどの程度低いか？
• RQ4 提案された代数的アルゴリズムは、大規模なクラウドソーシング環境において高い精度とスケーラビリティを達成できるか？
• RQ5 識別可能性を強化した反復アルゴリズムは、高信頼性アノテーターが存在しない状況で性能をどのように向上させるか？

主な発見

• 提案されたフレームワークは、熟練アノテーターが存在するなどの現実的条件下でも、2次統計のみを用いることでモデルの識別可能性を達成する。
• 対比較共起性の推定に必要な標本複雑性は、3次統計に比べて顕著に低く、特にアノテーターのラベリング確率が低い場合に顕著である。
• 代数的アルゴリズムは、収束性が保証され、大規模なクラウドソーシングに適した効率的かつスケーラブルな解法を提供する。
• 識別可能性を強化した反復アルゴリズムは、高信頼性アノテーターが存在しないような困難な状況でも、ロバスト性を向上させる。
• 実験により、両方の提案アルゴリズムが、さまざまなラベリング状況とデータの希少性レベルにおいて、最先端手法を上回ることを示した。
• 理論的境界により、十分な数のアノテーター（例えば、少なくとも 1 + (2^{K-4}(K-1)^2)/(K α_min^{2(K-2)} ε^2) log(K(K-1)/ρ)）が存在する場合、モデルは高確率でε-十分に散らばっており、識別可能であることが示された。