[論文レビュー] Lower Bounds and Conditioning of Differentiable Games.

Adam Ibrahim, Waïss Azizian+2 more|arXiv (Cornell University)|Jun 17, 2019

Advanced Bandit Algorithms Research参考文献 7被引用数 2

ひとこと要約

この論文は、Nesterovの議論を一般化し、p-SCLIフレームワークをゲームに拡張することで、微分可能ゲームにおける一次順序法の反復複雑度の根本的な下界を確立する。また、双線形および非強い凸・凹な設定を含む多様なゲームの条件数を捉える、より表現力のある新しい条件数を導入し、観測された上界とより密接に一致する。

ABSTRACT

Many recent machine learning tools rely on differentiable game formulations. While several numerical methods have been proposed for these types of games, most of the work has been on convergence proofs or on upper bounds for the rate of convergence of those methods. In this work, we approach the question of fundamental iteration complexity by providing lower bounds. We generalise Nesterov's argument -- used in single-objective optimisation to derive a lower bound for a class of first-order black box optimisation algorithms -- to games. Moreover, we extend to games the p-SCLI framework used to derive spectral lower bounds for a large class of derivative-based single-objective optimisers. Finally, we propose a definition of the condition number arising from our lower bound analysis that matches the conditioning observed in upper bounds. Our condition number is more expressive than previously used definitions, as it covers a wide range of games, including bilinear games that lack strong convex-concavity.

研究の動機と目的

• 微分可能ゲームにおける一次順序法の反復複雑度の根本的限界を確立し、収束証明や上界の範囲を越えて考察すること。
• 元々単一目的最適化に用いられたNesterovの下界議論を、微分可能ゲームの文脈に一般化すること。
• 単一目的最適化で用いられるp-SCLIフレームワークを拡張し、導関数に基づくゲームソルバーのスペクトル的下界を導出すること。
• 観測された上界の挙動と整合し、従来の定義よりも表現力が高いゲーム用の条件数を定義すること。
• 従来の条件数定義が十分に捉えきれない、双線形および非強い凸・凹なゲームを含む広範なゲームクラスをカバーすること。

提案手法

• 一次順序ブラックボックス最適化におけるNesterovの証明技法を微分可能ゲームの文脈に一般化し、所定の精度に達するまでに必要な反復回数の下界を確立する。
• 導関数に基づくソルバーのためのスペクトル的下界を導出するために、p-SCLI（pステップ収束下界）フレームワークをゲームに適応し、構造化された線形系を用いて最悪ケースの挙動をモデル化する。
• 導出された下界解析に基づいて、任意の一次順序法が最小限の反復回数を要するよう設計された最悪ケースのゲームインスタンスを構築する。
• 下界解析を通じて、ゲームを解く際の本質的難易度を反映し、上界結果と整合する新しい条件数を定義する。
• 提案された条件数が強い凸・凹な設定では既存の定義に還元されるが、双線形およびその他の非強い凸・凹なゲームへも意味的に拡張されることを示す。
• 新しい条件数を用いて、さまざまなゲームタイプの理論的複雑度を比較し、多様なゲームクラスにわたる表現力の高さを示す。

実験結果

リサーチクエスチョン

• RQ1 微分可能ゲームにおける一次順序法の根本的反復複雑度下界は何か？
• RQ2 Nesterovの単一目的最適化における議論を、微分可能ゲームの文脈にどのように適応できるか？
• RQ3 p-SCLIフレームワークを拡張し、導関数に基づくソルバーのためのスペクトル的下界をゲームに導出できるか？
• RQ4 観測された上界挙動と一致する、より表現力のある微分可能ゲーム用の条件数とは何か？
• RQ5 提案された条件数は、双線形および非強い凸・凹なゲームを含むさまざまなゲームタイプにおいてどのように振る舞うか？

主な発見

• この論文は、微分可能ゲームにおける一次順序法の反復複雑度に非自明な下界を確立し、最悪ケースにおいていかなる手法でも所定の速度より速く収束できないことを示している。
• Nesterovの議論をゲームに一般化することで、一次順序手法を用いたゲームの解法における本質的難易度を理解する理論的基盤が得られる。
• p-SCLIフレームワークをゲームに拡張することで、広範なソルバークラスにわたる最悪ケース収束挙動を捉えるスペクトル的下界を導出可能となる。
• 提案された条件数は、従来の定義よりも表現力が高く、双線形ゲームやその他の非強い凸・凹な設定の条件付けを正しく捉えている。
• 新しい条件数は上界解析と整合し、実際の実験観察と一致するゲーム複雑度の一貫した測度を提供する。
• ゲームを解く複雑度は、従来の強い凸・凹性仮定だけでは十分に捉えきれないことが示され、より広範な条件数定義の必要性が明らかになった。