[論文レビュー] Rewarding High-Quality Data via Influence Functions

Adam Richardson, Aris Filos-Ratsikas+1 more|arXiv (Cornell University)|Aug 30, 2019

Auction Theory and Applications参考文献 22被引用数 14

ひとこと要約

本稿は、フェデレーテッドラーニングにおけるインcentiveメカニズムを提案し、データポイントのモデル損失への影響に基づいてエージェントに報酬を付与することで、ゲーム理論的均衡として真実の高品質なデータ報告を保証する。効率的な影響近似と逐次バッチ処理を用い、スケーラブルで早期の報酬を実現し、実データセットを用いた理論的および実験的検証が行われる。

ABSTRACT

We consider a crowdsourcing data acquisition scenario, such as federated learning, where a Center collects data points from a set of rational Agents, with the aim of training a model. For linear regression models, we show how a payment structure can be designed to incentivize the agents to provide high-quality data as early as possible, based on a characterization of the influence that data points have on the loss function of the model. Our contributions can be summarized as follows: (a) we prove theoretically that this scheme ensures truthful data reporting as a game-theoretic equilibrium and further demonstrate its robustness against mixtures of truthful and heuristic data reports, (b) we design a procedure according to which the influence computation can be efficiently approximated and processed sequentially in batches over time, (c) we develop a theory that allows correcting the difference between the influence and the overall change in loss and (d) we evaluate our approach on real datasets, confirming our theoretical findings.

研究の動機と目的

• 線形回帰モデルにおけるデータポイントの影響に基づいてエージェントに報酬を付与するインcentiveスキームを設計すること。
• エージェントがヒューリスティックまたは不誠実な報告戦略を用いても、真実のデータ報告がゲーム理論的均衡となるように保証すること。
• リアルタイムデプロイメントを可能にするために、データバッチにおける影響の効率的で逐次の計算を可能にすること。
• 影響近似とモデルパフォーマンスにおける損失変化の実際の乖離を是正すること。
• さまざまな条件下で、UCIの実世界データセットを用いてメカニズムを実験的に検証すること。

提案手法

• 訓練に含められたデータポイントがモデル損失をどの程度低減するかを測定するために、インフルエンス関数を用いる。
• 一階近似よりも精度を向上させるために、訓練ポイントの重みを上げる二階近似を適用する。
• データを逐次バッチで処理し、各バッチについてM-インクルーシブ（現在のバッチを含む）およびM-エクスクルーシブ（現在のバッチを含まない）の訓練制度を用いて報酬を計算する。
• 事前データがない場合に対応するため、一様なランダムサンプルでモデルを初期化し、開始から一貫した影響計算を保証する。
• 初期データポイントが損失変化に与える影響を解析的にモデル化することで、影響近似のバイアスを是正する。
• 真実の報告とヒューリスティック報告の混合状況下でインセンティブを評価するため、混合モデルフレームワークを用い、経験的リスクと損失導関数を活用する。

実験結果

リサーチクエスチョン

• RQ1 インフルエンスに基づく報酬は、クラウドソーシングされた線形回帰設定において真実のデータ報告をナッシュ均衡として誘導できるか？
• RQ2 逐次的データ取得において、影響を効率的に近似・計算する方法は何か？
• RQ3 初期データポイントが影響推定および報酬の公平性に与える影響は何か？
• RQ4 一部のエージェントが真実ではなくヒューリスティックに報告する場合、インセンティブメカニズムのロバストネスはどの程度か？
• RQ5 インフルエンス近似は、モデル損失の真の変化をどの程度正確に反映しているか？

主な発見

• 正しいモデルの固有誤差がヒューリスティックモデルより低い限り、少数のエージェントがヒューリスティック戦略を用いても、真実の報告がゲーム理論的均衡として保証される。
• 二階近似は、すべてのテスト済みデータセットにおいて、絶対誤差および相対絶対誤差の観点で一階近似を著しく上回る。
• 真実報告がインcentされるとされるための閾値は、p > 1/2 + (R2,2 - R1,1)/(2r) であり、真実報告の割合とモデルの相対誤差に依存する。
• M-インクルーシブとM-エクスクルーシブの報酬方式は、理論的および実験的両面で一貫しており、さまざまなバッチサイズおよび初期データポイントにおいて安定した報酬比を示す。
• テストセットがエージェントの報告から構築されても、メカニズムは依然として真実報告のインセンティブを維持し、ロバストである。
• 5つの実世界データセット（赤ワイン、白ワイン、大気質、コミュニティと犯罪、パーキンソン病）における実験結果は、理論的予測およびインフルエンス近似の正確性を確認する。