[論文レビュー] Multiplayer Performative Prediction: Learning in Decision-Dependent Games

Adhyyan Narang, Evan Faulkner+3 more|arXiv (Cornell University)|Jan 10, 2022

Advanced Bandit Algorithms Research被引用数 6

ひとこと要約

本稿は、競争的機械学習設定における意思決定に依存するデータ分布をモデル化するゲーム理論的枠組み「マルチプレイヤー・パフォーマティブ予測」を導入する。繰り返し再訓練および勾配法がパフォーマティブに安定な均衡に収束するための条件を確立し、勾配ベースおよび導出フリーのアルゴリズムによるナッシュ均衡の効率的計算を可能にする強単調性の十分条件を提示する。実験により、戦略的モデリングがライドシェア市場やローン市場において成果を改善することを示している。

ABSTRACT

Learning problems commonly exhibit an interesting feedback mechanism wherein the population data reacts to competing decision makers' actions. This paper formulates a new game theoretic framework for this phenomenon, called "multi-player performative prediction". We focus on two distinct solution concepts, namely (i) performatively stable equilibria and (ii) Nash equilibria of the game. The latter equilibria are arguably more informative, but can be found efficiently only when the game is monotone. We show that under mild assumptions, the performatively stable equilibria can be found efficiently by a variety of algorithms, including repeated retraining and the repeated (stochastic) gradient method. We then establish transparent sufficient conditions for strong monotonicity of the game and use them to develop algorithms for finding Nash equilibria. We investigate derivative free methods and adaptive gradient algorithms wherein each player alternates between learning a parametric description of their distribution and gradient steps on the empirical risk. Synthetic and semi-synthetic numerical experiments illustrate the results.

研究の動機と目的

• 意思決定者が複数存在する状況において、データ分布がそれらの行動に応じて変化する学習における戦略的フィードバックをモデル化すること。
• このような相互作用的で意思決定に依存する学習問題を分析する新しいゲーム理論的枠組み「マルチプレイヤー・パフォーマティブ予測」を形式化すること。
• 2つの解概念であるパフォーマティブに安定な均衡（繰り返し再訓練で一般的に現れる）とナッシュ均衡（より情報を得やすいが計算が難しい）を分析すること。
• 勾配ベースおよび導出フリーの手法によるナッシュ均衡の効率的計算を可能にする強単調性の十分条件を確立すること。
• 実験的に、パフォーマティブ効果をモデリングすることで、ライドシェア市場やローン市場などの競争的状況においてより良い成果が得られることを示すこと。

提案手法

• 各プレイヤーのデータ分布がすべてのプレイヤーの行動に依存するゲーム理論的モデルを提案し、学習における戦略的フィードバックを捉える。
• 繰り返し再訓練の固定点としてパフォーマティブに安定な均衡を定義し、滑らかさ、凸性、リプシッツ条件の下で存在および一意性を示す。
• 繰り返し再訓練および（確率的）勾配法がパフォーマティブに安定な均衡に収束することを分析し、単一プレイヤー設定における最先端の保証と同等の有限時間反復複雑度を達成する。
• ゲームの強単調性の透明な十分条件を導出し、ナッシュ均衡の効率的計算を可能にする。
• プレイヤーがパラメトリックな分布の学習と経験的リスク勾配による更新を交互に実行する導出フリーおよび適応的勾配アルゴリズムを開発する。
• 定数ステップサイズを用いた確率的勾配降下法で均衡を計算し、実験で短視眼的更新と非短視眼的更新を比較する。

実験結果

リサーチクエスチョン

• RQ1 マルチプレイヤー意思決定に依存する学習において、繰り返し再訓練はどのような条件下でパフォーマティブに安定な均衡に収束するか？
• RQ2 マルチプレイヤー・パフォーマティブ予測ゲームにおいて、ナッシュ均衡はどのような条件下で効率的に計算可能か？
• RQ3 戦略的モデリングおよび競合プレイヤーの行動への認識は、競争的学習設定における成果にどのように影響するか？
• RQ4 競争によるデータ分布のシフトを無視した場合、パフォーマティブ効果の無視がもたらす実証的結果は何か？
• RQ5 ライドシェア市場などの実世界の応用において、勾配更新にパフォーマティブフィードバックを組み込むと、収益および需要にどのような影響を与えるか？

主な発見

• 滑らかさ、凸性、リプシッツの弱い仮定の下で、パフォーマティブに安定な均衡は存在し、一意的である。また、繰り返し再訓練および勾配法により効率的に同定可能である。
• パフォーマティブに安定な均衡を求める勾配ベース手法の反復複雑度は、単一プレイヤー設定における最先端の保証にまで低減される。
• 強単調性の十分条件が導出され、適応的および導出フリーのアルゴリズムによるナッシュ均衡の効率的計算が可能になった。
• ライドシェア実験では、パフォーマティブ効果をモデリングしたことで、大多数の地域で需要が減少したにもかかわらず、両プレイヤーの収益が向上した。これは、均衡での価格引き上げに起因する。
• 少なくとも1人のプレイヤーが部分的に短視眼的（自らの影響には気づくが、競合の影響には気づかない）である場合、ナッシュ均衡は両プレイヤーの収益を完全に短視眼的である場合よりも高める。
• 他のプレイヤーが完全に短視眼的である場合、非短視眼的プレイヤーはナッシュ均衡において劣位に位置し、戦略的認識が最適な成果を得る上で不可欠であることが示された。