[論文レビュー] Chaos, Extremism and Optimism: Volume Analysis of Learning in Games

Yun Kuen Cheung, Georgios Piliouras|arXiv (Cornell University)|May 28, 2020

Reinforcement Learning in Robotics参考文献 20被引用数 11

ひとこと要約

本稿は、ゲームにおける学習ダイナミクスを研究するために、双対（集約利得）空間における体積解析を導入する。その結果、ゼロサムゲームでは乗法的重み更新（MWU）が体積を指数関数的に拡大し、リャプノフのカオス、極端性、回避不能性を引き起こすことが明らかになった。一方、予測的MWU（OMWU）はゼロサムゲームでは体積を収縮させるが、協調ゲームでは拡大し、それぞれの収束性とカオス的挙動を説明できる。

ABSTRACT

We present volume analyses of Multiplicative Weights Updates (MWU) and Optimistic Multiplicative Weights Updates (OMWU) in zero-sum as well as coordination games. Such analyses provide new insights into these game dynamical systems, which seem hard to achieve via the classical techniques within Computer Science and Machine Learning. The first step is to examine these dynamics not in their original space (simplex of actions) but in a dual space (aggregate payoff space of actions). The second step is to explore how the volume of a set of initial conditions evolves over time when it is pushed forward according to the algorithm. This is reminiscent of approaches in Evolutionary Game Theory where replicator dynamics, the continuous-time analogue of MWU, is known to always preserve volume in all games. Interestingly, when we examine discrete-time dynamics, both the choice of the game and the choice of the algorithm play a critical role. So whereas MWU expands volume in zero-sum games and is thus Lyapunov chaotic, we show that OMWU contracts volume, providing an alternative understanding for its known convergent behavior. However, we also prove a no-free-lunch type of theorem, in the sense that when examining coordination games the roles are reversed: OMWU expands volume exponentially fast, whereas MWU contracts. Using these tools, we prove two novel, rather negative properties of MWU in zero-sum games: (1) Extremism: even in games with unique fully mixed Nash equilibrium, the system recurrently gets stuck near pure-strategy profiles, despite them being clearly unstable from game theoretic perspective. (2) Unavoidability: given any set of good points (with your own interpretation of "good"), the system cannot avoid bad points indefinitely.

研究の動機と目的

• MWUとOMWUのゼロサムゲームおよび協調ゲームにおける乖離した挙動を、新たな体積解析フレームワークを通じて理解すること。
• 構造的に類似した更新規則を有するにもかかわらず、なぜOMWUはゼロサムゲームで収束するのに対し、MWUは収束しないのかを特定すること。
• 体積拡大に起因する、MWUが示す新たな否定的力学的性質（極端性、回避不能性など）を明らかにすること。
• MWUの体積変化行動とOMWUの体積変化行動の双対性を、ゼロサムゲームにおけるMWUと協調ゲームにおけるOMWUの間で確立すること。
• 古典的手法を超える離散時間学習ダイナミクスを分析するための、原理的かつ一般化可能なツールである「双対空間における体積解析」を提供すること。

提案手法

• 学習ダイナミクスの分析を、元の単体空間（戦略プロファイル）から、体積の変化を追跡できる双対空間（集約利得空間）に変換する。
• MWUやOMWUのような離散時間アルゴリズムに体積解析を適用し、初期集合のルベーグ測度が反復によってどのように変化するかを測定する。
• 更新写像のヤコビアン行列式を用いて体積被積分を計算し、曲率項 $ C_{( extbf{A}, extbf{B})}( extbf{p}, extbf{q}) $ を含む重要な式を導出する。
• ヤコビアン行列式のテイラー展開を用いて体積変化の境界を導出し、$ C_{( extbf{A}, extbf{B})} > 0 $ のとき拡大、$ C_{( extbf{A}, extbf{B})} < 0 $ のとき収縮することを示す。
• 曲率項 $ C_{( extbf{A},- extbf{A})} $ と $ C_{( extbf{A}, extbf{A})} $ の双対性を活用し、ゼロサムゲームにおけるMWUと協調ゲームにおけるOMWUがほぼ同一の体積ダイナミクスを示すことを示す。
• リャプノフのカオス、極端な挙動、再帰性に関する結果を用いて、両設定における予測不能性と不安定性に関する定理を導出する。

実験結果

リサーチクエスチョン

• RQ1 時間平均収束を示すにもかかわらず、なぜMWUはゼロサムゲームでカオス的かつ発散的挙動を示すのか？
• RQ2 構造的に類似した更新規則を有するにもかかわらず、なぜOMWUはゼロサムゲームで収束するのに対し、MWUは収束しないのか？
• RQ3 時間平均化を超えて、MWUがゼロサムゲームで不安定性を示す背後にある力学的メカニズムは何か？
• RQ4 双対空間における体積拡大または収縮は、収束性、再帰性、極端な挙動とどのように関係するのか？
• RQ5 体積解析は、異なるゲームクラスにおいてMWUとOMWUの挙動の対照的性質を統一的に説明する原則を明らかにできるか？

主な発見

• ゼロサムゲームにおけるMWUは、双対空間で体積を指数関数的に拡大し、リャプノフのカオスおよび初期条件に対する極端な感度を示唆する。
• ゼロサムゲームにおけるOMWUは体積を収縮させ、その収束挙動に幾何的説明を与える。
• 協調ゲームでは、OMWUが体積を指数関数的に拡大し、リャプノフのカオスを引き起こす一方、MWUは体積を収縮させる。
• 本稿では、ゼロサムゲームにおけるMWUが「極端性」を示すことを証明した。これは、不安定であるにもかかわらず、繰り返し近い純粋戦略プロファイルを訪問することを意味する。
• MWUは「回避不能性」を示すことも判明した。これは、『良い』点の定義に関わらず、望ましくない状態を長期間回避できないことを意味する。
• 曲率項 $ C_{( extbf{A}, extbf{B})} $ の双対性のおかげで、ゼロサムゲームにおけるMWUの体積ダイナミクスと協調ゲームにおけるOMWUの体積ダイナミクスはほぼ同一であり、同型の不安定性パターンを示す。