[論文レビュー] Crowd & Prejudice: An Impossibility Theorem for Crowd Labelling without a Gold Standard

Nicolás Della Penna, Mark D. Reid|arXiv (Cornell University)|Apr 16, 2012

Auction Theory and Applications参考文献 18被引用数 11

ひとこと要約

この論文は、ゴールドスタンダードデータのないクラウドラベリングアルゴリズムが、全員が共通の情報のない「偏見」を報告する戦略的均衡に陥るため、本質的に欠陥を抱えていることを示している。主な結果は、ゴールドデータがなければ、真実のラベルと偏見によるラベルを信頼性を持って区別できないという不可能性定理であるが、わずかでもゴールドデータがあれば、そのような均衡を排除し、真実の報告を支配戦略にできる。

ABSTRACT

A common use of crowd sourcing is to obtain labels for a dataset. Several algorithms have been proposed to identify uninformative members of the crowd so that their labels can be disregarded and the cost of paying them avoided. One common motivation of these algorithms is to try and do without any initial set of trusted labeled data. We analyse this class of algorithms as mechanisms in a game-theoretic setting to understand the incentives they create for workers. We find an impossibility result that without any ground truth, and when workers have access to commonly shared 'prejudices' upon which they agree but are not informative of true labels, there is always equilibria where all agents report the prejudice. A small amount amount of gold standard data is found to be sufficient to rule out these equilibria.

研究の動機と目的

• ゴールドスタンダードなしのクラウドラベリングアルゴリズムをゲーム理論的メカニズムとして分析し、隠れたインcentivesを暴露すること。
• 作業者が非情報的で共通の偏見を持つ場合、なぜそのようなアルゴリズムが真実のラベルを引き出せないかを特定すること。
• 最小限のゴールドスタンダードデータがあれば、偏見に基づく均衡を排除し、真実の報告を回復できることを示すこと。
• 事前には真のラベルが分かっていない状況で、メカニズムが情報を持つ作業者を信頼性を持って特定できる条件を確立すること。

提案手法

• 作業者が雇用を最大化するために戦略的にラベルを選ぶゲーム理論的メカニズムとしてクラウドラベリングをモデル化する。
• 作業者が協調できる共通の非情報的ラベルパターン「偏見」を導入する。
• ゴールドデータが存在しない状況でのナッシュ均衡を分析し、全作業者が真実の報告よりも偏見を選ぶのが合理的であることが示される。
• ゴールドスタンダードデータを用いて、偏見から逸脱するエージェントを特定し、他の作業者へのラベルの一致を基に外挿できる。
• ラベル付きデータポイントの重複（または特徴量からラベルへのマッピング）を用いて、既知のゴールド検証済みエージェントから他の作業者への信頼を伝搬する。
• ゴールドデータにより真実の報告が支配戦略となり、偏見に基づく均衡が排除されることを示す。

実験結果

リサーチクエスチョン

• RQ1 作業者が共通の無情報的偏見を持つ場合、ゴールドスタンダードなしのクラウドラベリングメカニズムは真実のラベルを信頼性を持って特定できるか？
• RQ2 真のラベルが存在しない状況でどのような戦略的均衡が生じるのか？そしてそれらは真実のラベル報告を妨げるか？
• RQ3 わずかでもゴールドスタンダードデータにアクセスできれば、共通の偏見に基づく均衡はどのように崩れるか？
• RQ4 どのような条件下でゴールドデータが、情報を持つ作業者の真実の報告を支配戦略に保証するか？
• RQ5 ゴールドデータを用いたメカニズムは、ラベルの一致パターンから偏見を持つ作業者と真実の作業者を両方とも特定できるか？

主な発見

• ゴールドスタンダードデータがなければ、全作業者が共通の非情報的偏見を報告するナッシュ均衡が常に存在し、彼らの真実の知識とは無関係に成立する。
• そのような均衡では、観察された行動が真実のラベルと偏見によるラベルと同一であるため、メカニズムは両者を区別できない。
• わずかでもゴールドスタンダードデータがあれば、偏見に基づく均衡が破壊され、ゴールドラベルから逸脱するエージェントを特定できる。
• ゴールドデータにより、真実の作業者を特定し、ラベルの一致を通じて信頼を伝搬でき、最終的に全エージェントを正しく分類できる。
• ゴールドデータがあれば、情報を持つ作業者の真実の報告が支配戦略となり、偏見に従うインセンティブが排除される。
• データポイントの重複や特徴量からラベルへのマッピングの重複を活用することで、メカニズムは真実の作業者と偏見を持つ作業者を両方とも効果的に特定できる。