[論文レビュー] Linear Lower Bounds and Conditioning of Differentiable Games

Adam Ibrahim, Waïss Azizian+2 more|arXiv (Cornell University)|Jun 17, 2019

Advanced Bandit Algorithms Research参考文献 27被引用数 12

ひとこと要約

本稿は、微分可能なゲームにおける一次順序法の収束速度に線形下界を確立し、ネステロフのドミノ議論とp-SCLIフレームワークをn人プレイヤーのゲームに一般化する。強い凸性や凹性がなくても線形収束解析が可能な、双線形ゲームでさえも有限なままとなる新しい条件数を導入し、滑らかで強く凸・強く凹な場合および双線形の場合の既存の上界のタイトさを証明する。

ABSTRACT

Recent successes of game-theoretic formulations in ML have caused a resurgence of research interest in differentiable games. Overwhelmingly, that research focuses on methods and upper bounds on their speed of convergence. In this work, we approach the question of fundamental iteration complexity by providing lower bounds to complement the linear (i.e. geometric) upper bounds observed in the literature on a wide class of problems. We cast saddle-point and min-max problems as 2-player games. We leverage tools from single-objective convex optimisation to propose new linear lower bounds for convex-concave games. Notably, we give a linear lower bound for $n$-player differentiable games, by using the spectral properties of the update operator. We then propose a new definition of the condition number arising from our lower bound analysis. Unlike past definitions, our condition number captures the fact that linear rates are possible in games, even in the absence of strong convexity or strong concavity in the variables.

研究の動機と目的

• 微分可能なゲームにおける一次順序法の収束速度の根本的限界を特定すること、特に強い凸性や凹性が存在しない場合に焦点を当てる。
• 特に双線形問題で既存の定義が失敗する凸-凹ゲームに対して意味のある条件数が欠如している問題を解決すること。
• 元々単一目的最適化を対象としていた既存の下界技術をn人プレイヤーの微分可能なゲームに一般化すること。
• 強い凸性や凹性がなくても、ゲームにおける線形収束の可能性を捉える条件数を導出すること。
• 既存の上界が、滑らかで強く凸・強く凹な場合および双線形の場合の両方でタイトであることを示すことで、上界のタイトさを検証すること。

提案手法

• 無限次元空間における難しいミニマックス問題を構築することで、ネステロフのドミノ議論を2人プレイヤーのゲームに一般化し、収束速度に線形下界を導出する。
• 非対称ヤコビ行列を持つn人プレイヤーのゲームにp-SCLIフレームワークを拡張し、有限次元の二次ゲームにおける更新作用素のスペクトル解析を可能にする。
• バナッハ代数における更新作用素のスペクトル性質を用いて、プレイヤー数が任意の数（2人プレイヤーのゲームやミニマックス問題を含む）に対して有効な下界を導出する。
• ゲームのヤコビ行列のスペクトル半径と固有値分布に基づく新しい条件数を提案し、双線形ゲームでも有限なままとなる。
• 滑らかで強く凸・強く凹なゲームおよび双線形ゲームの両方に対してフレームワークを適用し、下界が既知の上界と一致することを示す。
• Fallahら（2020年）およびAzizianら（2020年）の後続の上界と比較することで、下界のタイトさを検証する。

実験結果

リサーチクエスチョン

• RQ1 強い凸性や凹性がなくても、n人プレイヤーの微分可能なゲームにおける一次順序法に線形下界を確立できるか？
• RQ2 既存の定義が失敗する双線形設定でも有限で意味のあるものとなる、凸-凹ゲームのための条件数が存在するか？
• RQ3 非対称ヤコビ行列を持つn人プレイヤーのゲームにp-SCLIフレームワークを一般化し、タイトな下界を得られるか？
• RQ4 滑らかで強く凸・強く凹なゲームおよび双線形ゲームといった主要な問題クラスにおいて、導出された下界が既存の上界と一致するか？
• RQ5 固有値の議論やゲームのヘッセ行列の構造的制約を組み込むことで、下界をさらにタイトにできるか？

主な発見

• 2人プレイヤーの微分可能なゲームに対して、一般化されたドミノ議論を用いて線形下界を確立した。これは、2ステップ線形スパン仮定の下で、一次順序ブラックボックス法に対して有効である。
• 非対称ヤコビ行列を持つn人プレイヤーのゲームにp-SCLIフレームワークを拡張し、二次ゲームに対してタイトな下界を導出した。n=1の場合にはArjevaniら（2016年）の結果を回復する。
• 双線形ゲームでも有限なままとなる新しい条件数を提案した。これは、強い凸性や凹性がなくても線形収束を捉える能力を持つ。
• 定理3の下界が滑らかで強く凸・強く凹なゲームにおいてタイトであることが示され、Fallahら（2020年）の上界と一致する。
• 非特異ヤコビ行列を持つ双線形ゲームに対しても、同じ下界がタイトであることが、Azizianら（2020年）の結果により確認され、彼らの手法の最適性が確立される。
• 結果から、研究対象のクラスにおいて既存の手法が最適であることが示唆され、今後の研究として固有値の議論や構造的制約を用いた下界のタイトニングが提案される。