[論文レビュー] The limits of min-max optimization algorithms: convergence to spurious non-critical sets

Ya-Ping Hsieh, Panayotis Mertikopoulos+1 more|arXiv (Cornell University)|Jun 16, 2020

Stochastic Gradient Optimization Techniques参考文献 65被引用数 13

ひとこと要約

本稿では、1次および2次勾配法、適応的スケーリング手法、ヒューリスティックな変種を含むmin-max最適化アルゴリズムが、元のゲームの停留点を含まない偽の非臨界集合に収束することを示している。著者らは、これらのアルゴリズムが一般に平均場力学系の内部的に鎖状転移的（ICT）集合に収束することを確立しており、不安定多様体をほとんど確実に避ける一方で、臨界点でない吸引子に持続的に収束する可能性がある。これは、既存のアルゴリズムに内在する収束失敗を明らかにしている。

ABSTRACT

Compared to ordinary function minimization problems, min-max optimization algorithms encounter far greater challenges because of the existence of periodic cycles and similar phenomena. Even though some of these behaviors can be overcome in the convex-concave regime, the general case is considerably more difficult. On that account, we take an in-depth look at a comprehensive class of state-of-the art algorithms and prevalent heuristics in non-convex / non-concave problems, and we establish the following general results: a) generically, the algorithms' limit points are contained in the ICT sets of a common, mean-field system; b) the attractors of this system also attract the algorithms in question with arbitrarily high probability; and c) all algorithms avoid the system's unstable sets with probability 1. On the surface, this provides a highly optimistic outlook for min-max algorithms; however, we show that there exist spurious attractors that do not contain any stationary points of the problem under study. In this regard, our work suggests that existing min-max algorithms may be subject to inescapable convergence failures. We complement our theoretical analysis by illustrating such attractors in simple, two-dimensional, almost bilinear problems.

研究の動機と目的

• 非凸／非凹な設定における最先端のmin-max最適化アルゴリズムの収束挙動を分析すること。この設定では、標準的な収束保証が成立しない。
• 理論的進展にもかかわらず、既存のアルゴリズムが単純なほぼ双線形ゲームにおいて臨界点に収束しない理由を特定すること。
• 確率的近似に基づく共通の理論枠組みの下で、SGDA、エキストラ勾配法、プロキシマル法、適応的手法など多様なアルゴリズムの分析を統一すること。
• アルゴリズムが平均場系の内部的に鎖状転移的（ICT）集合に収束することを示し、それらの集合が臨界点を含まない場合があることから、根本的な制限を明らかにすること。
• Adam や CGD といった高度な手法ですら、max-min点のような劣悪な解に収束する可能性があり、実用的信頼性を損なうことを示すこと。

提案手法

• 時間変動するステップサイズとノイズ付き勾配を伴う Robbins-Monro（RM）確率的近似スキームとしてmin-maxアルゴリズムを形式化すること。
• 連続時間平均場力学系における内部的に鎖状転移的（ICT）集合の理論を用いて、これらのアルゴリズムの漸近的挙動を分析すること。
• さまざまなアルゴリズム（例：SGDA、SGA、ConO、CGD、OG/PEG）の連続時間極限系を、離散的ダイナミクスの平均場近似として導出すること。
• 確率的安定性理論を用いて、アルゴリズムが不安定多様体を確率1で避ける一方で、平均場系の吸引子に収束することを示すこと。
• 擬似軌道および摂動の理論を用いて、定数ステップサイズまたは適応的ステップサイズ下での離散的アルゴリズムと連続的ダイナミクスの関係を確立すること。
• 2次元のほぼ双線形ゲームにおける数値実験を実施し、偽のICT集合の可視化と、異なる手法間のアルゴリズム的挙動の比較を行うこと。

実験結果

リサーチクエスチョン

• RQ1 非凸／非凹な設定におけるmin-max最適化アルゴリズムは、元のゲームの臨界点に収束するのか？
• RQ2 既存のアルゴリズムは、ゲームの停留点を含まない吸引子に収束しうるのか？ もしそうであるなら、どのような条件下でそうなるのか？
• RQ3 1次勾配法、2次勾配法、適応的手法といった異なるアルゴリズムの変種は、偽の集合への収束においてどのように振る舞うのか？
• RQ4 定数ステップサイズやAdamのような適応的手法は、劣悪な解への収束をどの程度悪化させるのか？
• RQ5 min-maxアルゴリズムの平均場ダイナミクスは、持続的循環や非臨界集合への収束を予測・説明するために用いることができるか？

主な発見

• min-max最適化アルゴリズムは、元のゲームの臨界点を含まない場合でも、一般に共通の平均場力学系の内部的に鎖状転移的（ICT）集合に収束する。
• 解析されたすべてのアルゴリズム—SGDA、SGA、ConO、CGD、OG/PEG、および適応的手法—は、単純な2次元のほぼ双線形ゲームにおいて、同じ偽のICT集合に収束する。
• Adam や ExtraAdam といった適応的手法は、ほぼ双線形ゲーム (11) においてmax-min点 (0,0) に収束する。これはmin-max均衡でない解であり、意味のある解を見つけることができないことを示している。
• 2次勾配法であるCompetitive Gradient Descent（CGD）やConsensus Optimization（ConO）ですら、偽の吸引子に収束する。特にConOは、不安定な臨界点にのみ収束するという特徴を持つ。
• これらのアルゴリズムの連続時間平均場ダイナミクスは、小さな摂動に対しても安定であるため、偽のICT集合は数値的ノイズの影響ではなく、本質的に安定であることが示唆される。
• 不安定多様体をほとんど確実に避けるにもかかわらず、アルゴリズムは臨界点でない吸引子に閉じ込められ続け、非凸min-max問題における避けがたい収束失敗が明らかになる。