[論文レビュー] Truthful Data Acquisition via Peer Prediction

Yiling Chen, Yiheng Shen+1 more|arXiv (Cornell University)|Jun 6, 2020

Advanced Bandit Algorithms Research参考文献 29被引用数 5

ひとこと要約

この論文は、テストデータが利用できない状況における機械学習における真実のデータ収集のためのピア予測ベースのメカニズムを提案する。報告者同士の報告の相互情報量に基づいて報酬を支払うことで、真実の報告が均衡状態となることを保証し、感度の保証も提供する。これにより、パrameter推定を歪める誤報を行うと報酬が低くなるようにする。

ABSTRACT

We consider the problem of purchasing data for machine learning or statistical estimation. The data analyst has a budget to purchase datasets from multiple data providers. She does not have any test data that can be used to evaluate the collected data and can assign payments to data providers solely based on the collected datasets. We consider the problem in the standard Bayesian paradigm and in two settings: (1) data are only collected once; (2) data are collected repeatedly and each day's data are drawn independently from the same distribution. For both settings, our mechanisms guarantee that truthfully reporting one's dataset is always an equilibrium by adopting techniques from peer prediction: pay each provider the mutual information between his reported data and other providers' reported data. Depending on the data distribution, the mechanisms can also discourage misreports that would lead to inaccurate predictions. Our mechanisms also guarantee individual rationality and budget feasibility for certain underlying distributions in the first setting and for all distributions in the second setting.

研究の動機と目的

• 評価に使用できるテストデータが存在しない状況でのインcentive互換性のあるデータ収集メカニズムの設計。
• ベイジアン設定下で、データ提供者が真実の報告を取ることが支配戦略となるようにすること。
• 不確実性下でのデータ収集において、個々の合理性と予算の実現可能性を維持すること。
• ピア予測技術を機械学習における大規模かつ高次元のデータ収集に拡張すること。

提案手法

• 各データ提供者に、自身の報告と他の提供者の報告との間の相互情報量に基づいて報酬を支払う。
• データ処理不等式を活用し、真実の報告が相互情報量を最大化し、結果として報酬も最大となるように保証する。
• 指数分布族の共役事前分布を用いたベイジアン更新により、パrameterの不確実性と事後信念をモデル化する。
• 誤報がパrameter予測に影響を与える場合、期待報酬が低くなるように感度条件を導入する。
• データ分布の性質に依存するメカニズムを構築することで、個々の合理性と予算の実現可能性を保証する。
• 真実の報告が均衡状態であることを証明し、パrameter推定を変更する操作が、形式的な感度分析により抑止されることを示す。

実験結果

リサーチクエスチョン

• RQ1 テストデータや真値ラベルが入手できない状況でも、真実の報告を促すデータ収集メカニズムを設計できるか？
• RQ2 ピア予測メカニズムにおいて、真実の報告が均衡状態となる条件は何か？
• RQ3 検証ができない状況下で、誤ったパrameter予測を引き起こす誤報がどのように抑止されるか？
• RQ4 このようなメカニズムで得られる個々の合理性と予算の実現可能性に関する保証は何か？
• RQ5 パrameter推定に影響を与える操作に対するピア予測メカニズムの感度を、形式的に特徴づけることは可能か？

主な発見

• 単回および繰り返しのデータ収集設定の両方において、相互情報量に基づく報酬支払いにより、真実の報告が均衡状態に保証される。
• メカニズムは感度を有する：誤報がパrameter推定を誤らせる場合、提供者は期待報酬が厳密に低くなる。
• 繰り返し設定ではすべてのデータ分布で、単回設定では特定の分布で個々の合理性と予算の実現可能性が達成される。
• 相互情報量に変化がないにもかかわらず、潜在パrameterに関する事後分布を変更する操作も、メカニズムによって抑止される。
• 指数分布族モデルにおける事後分布を用いて、感度の形式的条件を導出し、報酬損失とパrameter推定誤差を結びつける。
• ベイジアン推論における十分統計量と共役事前分布を活用することで、ピア予測を高次元データ収集に拡張可能となる。