[論文レビュー] Operator Splitting for Learning to Predict Equilibria in Convex Games

Daniel McKenzie, Howard Heaton+4 more|arXiv (Cornell University)|Jun 2, 2021

Model Reduction and Neural Networks参考文献 50被引用数 4

ひとこと要約

この論文では、文脈依存データを用いて凸ゲームにおける均衡を予測する深層学習フレームワークであるNash固定点ネットワーク（N-FPN）を紹介する。オペレータ分割と制約の分離、およびヘシアンを必要としないバックプロパゲーションを活用することで、N-FPNは高価な射影を回避し、交通ルーティングなどの大規模問題においてもスケーラブルな訓練と推論を実現する。従来の手法に比べ、精度と速度の両面で優れている。

ABSTRACT

Systems of competing agents can often be modeled as games. Assuming rationality, the most likely outcomes are given by an equilibrium (e.g. a Nash equilibrium). In many practical settings, games are influenced by context, i.e. additional data beyond the control of any agent (e.g. weather for traffic and fiscal policy for market economies). Often the exact game mechanics are unknown, yet vast amounts of historical data consisting of (context, equilibrium) pairs are available, raising the possibility of learning a solver which predicts the equilibria given only the context. We introduce Nash Fixed Point Networks (N-FPNs), a class of neural networks that naturally output equilibria. Crucially, N- FPNs employ a constraint decoupling scheme to handle complicated agent action sets while avoiding expensive projections. Empirically, we find N-FPNs are compatible with the recently developed Jacobian-Free Backpropagation technique for training implicit networks, making them significantly faster and easier to train than prior models. Our experiments show N-FPNs are capable of scaling to problems orders of magnitude larger than existing learned game solvers.

研究の動機と目的

• コスト関数が未知であるが、(文脈, 均衡)ペアが利用可能な文脈的凸ゲームにおける均衡を予測するスケーラブルでデータ駆動のフレームワークを開発すること。
• 従来の学習済みゲームソルバーにおける射影ベース手法の計算ボトルネックを、Three-Operator分割を用いた制約の分離によって解消すること。
• 複雑な行動集合の制約を満たすとともに、有効な均衡を出力するニューラルネットワークのエンドツーエンド訓練を可能にすること。
• 対角的厳密凸性を示すゲームクラスに対して、N-FPNがナッシュ均衡を近似する普遍性を示すこと。
• 同じフレームワークを用いて、Wardrop均衡や定量的応答均衡などの関連する均衡タイプへの応用を拡張すること。

提案手法

• N-FPNは、固定点がナッシュ均衡に一致するオペレータを定義する暗黙的ニューラルネットワークであり、収束するまで反復的に適用することで均衡を計算する。
• 射影を効率的に回避するため、Three-Operator分割から導出された制約分離スキームを採用する。
• オペレータは、文脈$d$をゲームの勾配にマップするニューラルネットワークによってパラメータ化され、均衡予測のエンドツーエンド学習を可能にする。
• 前方伝搬では、分離によって得られる明示的な射影公式を用いるため、反復的射影を必要とせず、効率的な推論が可能になる。
• 逆伝搬では、ヘシアンの明示的計算を回避するヘシアンフリーのバックプロパゲーション（JFB）を活用し、ネットワークの効率的訓練を実現する。
• このフレームワークは、変動不等式に対しても一般化可能であり、凸最適化や物理シミュレーション問題への応用が可能になる。

実験結果

リサーチクエスチョン

• RQ1 未知の下位コスト関数を持つ文脈的凸ゲームにおける均衡を予測するための深層学習モデルを、コスト関数を知らずに訓練可能か？
• RQ2 学習済みゲームソルバーにおける制約処理を、正確性や制約の満たし方を損なわず、計算的に効率化可能か？
• RQ3 N-FPNアーキテクチャは、対角的厳密凸性を示すゲームクラスに対して、普遍的近似が可能か？
• RQ4 N-FPNは、高次元行動集合を持つ交通ルーティングのような大規模問題にスケーリング可能か？
• RQ5 このフレームワークは、Wardrop均衡や定量的応答均衡といった他の種類の均衡を予測するために拡張可能か？

主な発見

• N-FPNは、TRAFIXベンチマークにおいてWardrop均衡をほぼ完璧に予測し、相対的MSEとTRAFIXスコアが学習中に収束した。
• N-FPNフレームワークは、従来の学習済みゲームソルバーと比較して、桁違いに大きな問題にスケーリング可能であり、数百の高次元ポリトープを含む交通ネットワークにも対応できる。
• 制約の分離により、明示的な射影公式が得られ、反復的射影の必要がなくなり、前方および逆伝搬の高速化が顕著に達成された。
• ヘシアンフリーのバックプロパゲーションにより、暗黙的N-FPNアーキテクチャの効率的訓練が可能となり、大規模データでの学習が現実可能になった。
• 実験的結果から、N-FPNは大規模交通ルーティング問題において、従来のフィードフォワードネットワークを上回る精度とスケーラビリティを示した。
• N-FPNモデルは、対角的厳密凸性を示す文脈的ゲームに対して普遍的近似器であることが証明され、理論的な表現力が裏付けられた。