[論文レビュー] On the Impossibility of Global Convergence in Multi-Loss Optimization

Alistair Letcher|arXiv (Cornell University)|May 26, 2020

Advanced Bandit Algorithms Research参考文献 38被引用数 9

ひとこと要約

この論文は、やや緩い正則性条件下ですら、多損失最適化においてグローバル収束が根本的になされないことを証明している。著者らは、解析的かつ強制的（coercive）な損失関数を備えた2人零和ゲームを構築し、唯一の臨界点が厳密な最大値であるような状況を提示した。この場合、任意の厳密な最大値を避ける合理的なアルゴリズムは、収束しないか循環するため、グローバル収束が不可能になる。これは、マルチエージェント機械学習最適化における根本的な制限を示している。

ABSTRACT

Under mild regularity conditions, gradient-based methods converge globally to a critical point in the single-loss setting. This is known to break down for vanilla gradient descent when moving to multi-loss optimization, but can we hope to build some algorithm with global guarantees? We negatively resolve this open problem by proving that desirable convergence properties cannot simultaneously hold for any algorithm. Our result has more to do with the existence of games with no satisfactory outcomes, than with algorithms per se. More explicitly we construct a two-player game with zero-sum interactions whose losses are both coercive and analytic, but whose only simultaneous critical point is a strict maximum. Any 'reasonable' algorithm, defined to avoid strict maxima, will therefore fail to converge. This is fundamentally different from single losses, where coercivity implies existence of a global minimum. Moreover, we prove that a wide range of existing gradient-based methods almost surely have bounded but non-convergent iterates in a constructed zero-sum game for suitably small learning rates. It nonetheless remains an open question whether such behavior can arise in high-dimensional games of interest to ML practitioners, such as GANs or multi-agent RL.

研究の動機と目的

• 標準的勾配法の失敗が知られているにもかかわらず、やや緩い正則性条件下で多損失最適化におけるグローバル収束保証が達成可能かどうかを調査すること。
• マルチエージェント学習設定におけるグローバル収束を妨げる根本的な構造的障壁を同定すること。
• 強制的かつ解析的損失関数を備え、唯一の臨界点が厳密な最大値である反例ゲームを構築すること。
• 任意の最大値を避けるアルゴリズムが、このような設定ではグローバルに収束できないことを示すこと。
• 小さな定数学習率のもとで、広範な勾配ベースの手法クラスが、有界だが収束しない反復点をほとんど確実に生成することを示すこと。

提案手法

• 解析的かつ強制的損失関数を備えた2人零和ゲームを構築し、唯一の臨界点が厳密な最大値であることを保証する。
• 任意の最大値を避けるアルゴリズムは、定義上最大値への収束を許さないため、グローバル収束に失敗することを証明する。
• 測度論的議論を用いて、原点（最大値）への収束をもたらす初期条件の集合がLebesgue測度ゼロであることを示す。
• 逆関数定理およびリプシッツ連続性を用いて、更新写像が局所微分同相写像であることを確立し、反復点の解析を可能にする。
• 小さな定数学習率のもとで反復点が有界であるならば、測度ゼロの収束集合が存在しないことから、ほとんど確実に非収束が生じることを示す。
• ポテンシャル進捗尺度の単調性とボルツァーノ＝ヴァイエルシュトラスの定理に基づく背理法を用いて、合理的なアルゴリズムが唯一の臨界点へ収束することは不可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 やや緩い正則性条件下で、勾配ベースのアルゴリズムが多損失最適化においてグローバル収束を達成できるか？
• RQ2 強制的かつ解析的損失を伴うマルチエージェントゲームにおいて、グローバル収束を妨げる根本的な構造的障壁は存在するか？
• RQ3 唯一の臨界点が厳密な最大値であるようなゲームを構築可能か？その場合、収束を望まないため、合理的なアルゴリズムがその最大値に到達できない。
• RQ4 定数学習率を用いる標準的勾配ベースの手法は、このような病理的ゲームにおいて、有界だが収束しない挙動を示すか？
• RQ5 唯一の臨界点が厳密な最大値であるゲームにおいて、合理的なアルゴリズムに対して進捗の尺度が存在するか？

主な発見

• 解析的かつ強制的損失関数を備えた2人零和ゲームを構築した。このゲームでは唯一の臨界点が厳密な最大値である。
• 最大値を避ける任意のアルゴリズムは、このゲームではグローバル収束を達成できない。なぜなら、唯一の臨界点は最小化点ではないからである。
• 考察対象のアルゴリズムクラスにおいて、原点（最大値）への収束をもたらす初期条件の集合はLebesgue測度ゼロである。
• 十分に小さな定数学習率のもとで、すべてのアルゴリズムがほとんど確実に有界だが収束しない反復点を生成する。
• 単調かつ下から有界な進捗尺度が存在すると仮定した場合、収束の仮定のもとで矛盾が生じる。これにより、収束が不可能であることが証明される。
• この結果は、決定的および確率的アルゴリズムの両方に対して成り立ち、EG、OMD、AGD、CO、CGD、SGA、LOLAを含む広範な勾配ベースの手法クラスに拡張可能である。