[論文レビュー] A Minimax Optimal Algorithm for Crowdsourcing

Thomas Bonald, Richard Combes|arXiv (Cornell University)|Jun 1, 2016

Mobile Crowdsensing and Crowdsourcing被引用数 29

ひとこと要約

本稿では、作業者トリプレットからの対比較相関を用いて作業者信頼性を推定するための、ミニマックス最適で低複雑性のアルゴリズムである三角推定（TE）を提案する。TEは、新たに導出された推定誤差の下界と一致させることでミニマックス最適性を達成し、反復的手続を用いず、全データの保存を必要としないストリーミング環境でも効率的に動作する。

ABSTRACT

We consider the problem of accurately estimating the reliability of workers based on noisy labels they provide, which is a fundamental question in crowdsourcing. We propose a novel lower bound on the minimax estimation error which applies to any estimation procedure. We further propose Triangular Estimation (TE), an algorithm for estimating the reliability of workers. TE has low complexity, may be implemented in a streaming setting when labels are provided by workers in real time, and does not rely on an iterative procedure. We further prove that TE is minimax optimal and matches our lower bound. We conclude by assessing the performance of TE and other state-of-the-art algorithms on both synthetic and real-world data sets.

研究の動機と目的

• コングリービングにおける作業者信頼性の推定誤差に対する非漸近的ミニマックス下界を確立すること。
• 反復的手続に依存せず、ストリーミング環境に対応可能な低複雑性のアルゴリズムを設計し、ミニマックス最適性を達成すること。
• 従来のアルゴリズムに含まれるEM段階が、二値ラベル付けタスクにおけるミニマックス最適性にとって不可欠でないことを示すこと。
• 合成データおよび実世界データ上で、TEの性能を最先端手法と比較すること。
• 最も情報量の多い3名の作業者と平均作業者信頼性の相互作用を通じて、コングリービング問題の難易度の高いインスタンスを特定すること。

提案手法

• 最も情報量の多い3名の作業者の信頼性と、全作業者の平均信頼性に依存する推定誤差のミニマックス下界を導出する。
• 作業者3名の間の相関関係を用いて作業者信頼性を推定する三角推定（TE）を提案し、全データの保存を回避する。
• 反復的でない、ストリーミング対応の更新ルールを採用し、低メモリおよび計算複雑性を維持する。
• 有限標本設定に特化した濃縮不等式を用いて、非漸近的性能保証を導出する。
• 導出されたミニマックス下界と一致させることで、TEが非漸近的領域においてミニマックス最適であることを証明する。
• 実世界の多クラスラベルを、二値モデルとの互換性を保つために2つのカテゴリにクラスをグループ化することで二値ラベルに変換する。

実験結果

リサーチクエスチョン

• RQ1 二値ラベル付けの下で、コングリービングにおける作業者信頼性の推定誤差の根本的限界（ミニマックス下界）は何か？
• RQ2 反復的でなく、ストリーミング対応可能なアルゴリズムが有限標本設定においてミニマックス最適性を達成できるか？
• RQ3 二値コングリービングにおいて、ミニマックス最適性を達成するために反復的EM手順が必須であるのか、それとも単純な手法で十分か？
• RQ4 TEの性能は、S-EM、KOS、GKMといった最先端のアルゴリズムと比較して、合成データおよび実世界データの両方でどのように異なるか？
• RQ5 最も情報量の多い3名の作業者と平均信頼性は、推定問題の難易度にどのように寄与するか？

主な発見

• ミニマックス下界は、最も情報量の多い3名の作業者の信頼性と、全作業者の平均信頼性に依存し、問題の「難易度の高い」インスタンスを特定する。
• TEは導出されたミニマックス下界と一致させることで、非漸近的領域においてミニマックス最適であることを証明する。
• a = 0.9 の合成データでは、TEは予測誤差 0.004 を達成し、オラクル性能と一致し、多数決投票（0.046）を著しく上回る。
• 作業者次数とラベル密度が高い実世界の「Web」データセットでは、TEは予測誤差 0.03 を達成し、S-EMをわずかに上回り、最良のKOSおよびGKMアルゴリズムと同等の性能を示す。
• 低次数の状況（例：b=1）では、TEは多数決投票および他のベースラインを一貫して上回り、『Temp』データセットでは予測誤差 0.128 を達成したのに対し、多数決投票は 0.419 であった。
• これらの結果は、従来のアルゴリズムにおけるEM段階がミニマックス最適性にとって不可欠でないことを示唆しており、TEはその段階を必要とせずとも最適性と優れた実験的性能を両立させている。