[論文レビュー] A Collaborative Mechanism for Crowdsourcing Prediction Problems

Jacob Abernethy, Rafael Frongillo|arXiv (Cornell University)|Nov 11, 2011

Sports Analytics and Performance参考文献 11被引用数 34

ひとこと要約

本論文は、参加者が更新に対する賭けを通じて共有仮説を改善することを奨励する、共同予測市場フレームワークであるコラボラティブ・ラーニングメカニズム（CLM）を提案する。テストセットにおけるパフォーマンス向上に報酬を一致させることで、真実性があり段階的な改善が保証され、継続的かつ透明な協働が可能になる。これは、従来の勝者・テイク・アール予測コンペティションに代わる、より効率的でインcentive-compatibleな代替手段を提供する。

ABSTRACT

Machine Learning competitions such as the Netflix Prize have proven reasonably successful as a method of "crowdsourcing" prediction tasks. But these competitions have a number of weaknesses, particularly in the incentive structure they create for the participants. We propose a new approach, called a Crowdsourced Learning Mechanism, in which participants collaboratively "learn" a hypothesis for a given prediction task. The approach draws heavily from the concept of a prediction market, where traders bet on the likelihood of a future event. In our framework, the mechanism continues to publish the current hypothesis, and participants can modify this hypothesis by wagering on an update. The critical incentive property is that a participant will profit an amount that scales according to how much her update improves performance on a released test set.

研究の動機と目的

• 従来の予測コンペティションの限界、例えば勝者・テイク・アールのインcentive構造や協働に反する構造を是正すること。
• 個別の、非公開のアルゴリズム的改善ではなく、共有仮説への継続的かつ真実の貢献を奨励するメカニズムを設計すること。
• 予測市場およびスコアリングルールの原則を用いて、共同仮説の精錬を可能にすること。
• 参加者が保有する仮説更新が保持されたテストセット上で実際にどれほど改善したかに比例して、報酬を得られるようにすること。
• 分散型の集団知能を用いて機械学習の予測問題を解決するための、実行可能でスケーラブルかつインcentive-compatibleなフレームワークを提供すること。

提案手法

• メカニズムは現在の仮説ベクトル w を維持し、参加者が w への更新 w′ に対して賭けを打てるようにする。
• 各参加者の報酬は、報酬関数 Payout(w, w′; X) = Cost(w, w′) + L(w; X) - L(w′; X) によって決定され、ここで L はテストセット X における損失関数である。
• コスト関数は Cost(w, w′) = 2α‖w − w′‖₂ として定義され、エスコロウ性質（escrow property）と損失関数のリプシッツ連続性を保証する。
• フレームワークは一般化スコアリングルール（GSR）を用い、個々の予測に分解可能であり、テストデータのサブセットに対してオンライン報酬支払いを可能にする。
• 参加者は予算制約下で期待報酬を最大化するための凸最適化問題を解くことで、実行可能性（TT性質）を保証する。
• メカニズムは、テストラベルの一部を凍結した状態で、一定間隔でミニペイアウトを実施することでオンライン運用を可能にし、インcentive整合性を損なわずにリアルタイムフィードバックを提供する。

実験結果

リサーチクエスチョン

• RQ1 予測市場フレームワークを、パフォーマンス向上にインcentiveが一致する形で、機械学習の仮説学習をコラボラティブに実行できるように適応可能か？
• RQ2 従来の予測コンペティションで一般的な協働に反する行動を防ぐために、どのように共同メカニズムを設計できるか？
• RQ3 参加者が現在の仮説を真実に報告し改善するよう保証するための条件は何か？（システムをねじ曲げるのを防ぐ。）
• RQ4 強いインcentive特性を維持しつつ、計算的に実行可能にできるか？
• RQ5 インcentive整合性やパフォーマンス評価を損なわずに、オンラインフィードバックをメカニズムに統合できるか？

主な発見

• 提案されたコラボラティブ・ラーニングメカニズム（CLM）は L-インcentivized である。これは、参加者が仮説更新によってテストセットパフォーマンスが実際にどれほど向上したかに比例して報酬を得ることを意味する。
• メカニズムはエスコロウ性質（ES）を満たしており、参加者が初期賭けを超えて損失を被ることはない。コスト関数は仮説空間に関してリプシッツ連続であるように設計されている。
• フレームワークは実行可能（TT性質）であり、損失関数と ℓ₂-ノルムコストの凸性により、予算制約下での報酬最大化が凸最適化問題に還元される。
• サブセットのテストデータに対してミニペイアウトを可能にするため、メカニズムはオンライン運用が可能であり、分解可能なスコアリングルールによりインcentive整合性を維持する。
• 企業は、小さなラベル付きサンプルを用いて、より大きな未ラベル付きデータセットに対する予測を検証することで、予測タスクを分散型のクラウドにアウトソーシングできる。これは、機械学習の専門知識を市場化する有効な手段である。
• 仮説更新の公開を義務付けることで、メカニズムは協働を促進し、従来のコンペティションで見られる非勝者による努力の無駄を回避する。