[論文レビュー] Finite Regret and Cycles with Fixed Step-Size via Alternating Gradient Descent-Ascent

James P. Bailey, Gauthier Gidel+1 more|arXiv (Cornell University)|Jul 9, 2019

Advanced Bandit Algorithms Research参考文献 22被引用数 7

ひとこと要約

本稿では、エージェントが交互に戦略を更新する「交互勾配降下・上昇（AltGD）」を提案する。これにより、固定ステップサイズを用いたゼロサムゲームにおいて、有限のレグレットと有界で循環的な戦略が達成される。これは、従来の連続時間ハミルトニアン力学で観察されていた性質であり、標準的な同時勾配降下・上昇では達成されていなかった。

ABSTRACT

Gradient descent is arguably one of the most popular online optimization methods with a wide array of applications. However, the standard implementation where agents simultaneously update their strategies yields several undesirable properties; strategies diverge away from equilibrium and regret grows over time. In this paper, we eliminate these negative properties by introducing a different implementation to obtain finite regret via arbitrary fixed step-size. We obtain this surprising property by having agents take turns when updating their strategies. In this setting, we show that an agent that uses gradient descent obtains bounded regret -- regardless of how their opponent updates their strategies. Furthermore, we show that in adversarial settings that agents' strategies are bounded and cycle when both are using the alternating gradient descent algorithm.

研究の動機と目的

• 標準的な同時勾配降下・上昇が引き起こす不安定さと無限大のレグレットを是正すること。
• 連続時間ハミルトニアン力学に由来する良好な性質（有界性、再帰性）を保持する離散時間ダイナミクスを構築すること。
• 固定で任意のステップサイズを用いても、有限のレグレットとサイクル行動が達成可能であることを示すこと。これは、標準的な同時更新とは対照的である。
• 離 discrete 時間の交互更新ルールを通じて、ゲームダイナミクス、ハミルトニアン系、シンプレクティック積分器の間の関係を確立すること。

提案手法

• エージェントが交互に更新する：まず最大化プレイヤー（フォロワー）が勾配上昇で更新し、次に最小化プレイヤー（リーダー）が勾配降下で更新する。
• 更新ルールは2段階プロセスとして構造化される：(1) x₁ を x₂ を用いて更新、(2) 新しい x₁ を用いて x₂ を更新。
• 各段階のヤコビアン行列式が1であることを証明することで、ダイナミクスが体積を保存することを示す。
• この方法は、特にループフロッグ（ヴェルレ）積分法として知られるシンプレクティック積分器と正式に関連づけられる。これはハミルトニアン系における幾何的構造を保存する。
• 理論的分析により、ダイナミクスが有界であり、再帰的であることが証明され、均衡の周囲でサイクル行動が生じることを示す。
• 連続ダイナミクスの接線ステップ近似を破ることで、同時勾配降下・上昇で見られる発散と混沌とした振る舞いを回避する。

実験結果

リサーチクエスチョン

• RQ1 固定で任意のステップサイズを用いた離散時間アルゴリズムで、ゼロサムゲームにおいて有限のレグレットを達成できるか？
• RQ2 戦略の交互更新が発散を防ぎ、エージェントの戦略の有界性を保証するか？
• RQ3 連続時間の仮定なしに、離散ダイナミクスにおいてもサイクル行動が出現可能か？
• RQ4 安定性とレグレットの観点から、交互勾配降下・上昇は同時勾配降下とどのように異なるか？
• RQ5 （例えば体積保存など）交互更新の安定性を支える幾何的または力学的性質は何か？

主な発見

• AltGDは、相手の戦略がいかなるものであっても、エージェントのレグレットが有界のまま保たれることを保証する。
• ダイナミクスは体積を保存するため、再帰的である：軌道は無限回にわたり初期状態に限りなく近づく。
• 戦略は常に有界であり、同時に勾配降下・上昇で見られる発散を防ぐ。
• この方法により、最大最小均衡の周囲でサイクル行動が誘発され、固定ステップサイズのシミュレーションで可視化されている。
• 交互更新ルールはシンプレクティック積分器を模倣し、離 discrete 時間においても連続時間ハミルトニアン力学の幾何的構造を保存する。
• 理論的分析により、各更新段階のヤコビアン行列式が1であることが確認され、体積保存性と安定性が証明された。