[論文レビュー] A Hölderian backtracking method for min-max and min-min problems

Jérôme Bolte, Lilian E. Glaudin+2 more|arXiv (Cornell University)|Jul 17, 2020

Stochastic Gradient Optimization Techniques参考文献 35被引用数 4

ひとこと要約

本稿は、値関数のホルダー連続性を活用して、自動的・適応的ステップサイズを可能にする、最小-最大および最小-最小最適化問題のための新規バックトラッキング勾配法を提案する。半代数的および一意性の仮定の下で、臨界点への収束が保証され、収束速度は $ O(\epsilon^{-[2+c]}) $ となる。ここで $ c $ は無視できる程度の小さい値である。この手法は、GAN や最適輸送問題において優れた性能を示す。

ABSTRACT

We present a new algorithm to solve min-max or min-min problems out of the convex world. We use rigidity assumptions, ubiquitous in learning, making our method applicable to many optimization problems. Our approach takes advantage of hidden regularity properties and allows us to devise a simple algorithm of ridge type. An original feature of our method is to come with automatic step size adaptation which departs from the usual overly cautious backtracking methods. In a general framework, we provide convergence theoretical guarantees and rates. We apply our findings on simple GAN problems obtaining promising numerical results.

研究の動機と目的

• 敵対的学習およびゲーム理論に現れる非凸な最小-最大および最小-最小問題のための、強固で適応的な最適化アルゴリズムの開発。
• 特に半代数的構造および一意的最良応答の仮定の下で、理論的収束保証の確立。
• 値関数の隠れたホルダー正則性を活用して、慎重なバックトラッキングを避ける大規模ステップサイズの実現。
• 単調性を要しない十分な減少を維持する自動ラインサーチを備えた実用的アルゴリズムの提供。
• Sinkhorn GAN や Wasserstein GAN といった困難な問題における手法の数値的検証。

提案手法

• 最小-最大問題を、$ g(x) = \max_y L(x,y) $ として定義される値関数の勾配降下法として扱い、半代数的仮定の下で局所的ホルダー連続性を持つ勾配を活用する。
• 非単調なバックトラッキング戦略を導入し、$ \|\nabla_x L(x_n, y_n)\|^{\rho k} $ を含む十分な減少条件に基づいてステップサイズ $ \gamma_n $ を適応的に調整する。
• ステップサイズは $ \gamma_n(x_n) = \alpha^k \min\{1, \|\nabla_x L(x_n, y_n)\|^{\rho k}\} \gamma $ で更新され、ここで $ \alpha \in (0,1) $ であり、勾配の減少が遅い場合には大きなステップを許容する。
• 主な革新点は、値関数の隠れた正則性を用いて大規模ステップの正当化を図った点であり、標準的な慎重なバックトラッキングとは異なる。
• バックトラッキングインデックス $ k_n $ の単調性を要件としないことで、十分な減少を維持しつつ効率性を向上させる。
• 正確な $ \arg\max $ を得るのが不実行な問題（例：Wasserstein GAN において）では、勾配上昇近似 $ y_n \approx \arg\max_y L(x_n, y) $ を用いる。

実験結果

リサーチクエスチョン

• RQ1 値関数の内在的正則性を用いて、自動的にステップサイズを適応させる勾配ベースの最小-最大問題のための手法を設計できるか？
• RQ2 何の条件下で、値関数 $ g(x) = \max_y L(x,y) $ が局所的ホルダー連続勾配を持つのか？
• RQ3 強い凸性や滑らかさの仮定なしに、最小-最大問題に対してグローバル収束と非漸近的収束速度を達成できるか？
• RQ4 実際の応用において、自動ステップサイズ適応は、古典的なバックトラッキング法や定数ステップサイズ法と比較してどのように優れるか？
• RQ5 対角的バックトラッキングの収束速度および実用的効率に与える影響は何か？

主な発見

• バックトラックホルダー法は、$ c $ が対角的バックトラッキングプロセスに起因する小さなコストであるとして、グローバル収束速度 $ O(\epsilon^{-[2+c]}) $ を達成する。
• 半代数的および一意性の仮定の下で、$ y^* = \arg\max_y L(x^*, y) $ かつ $ \nabla_x L(x^*, y^*) = 0 $ を満たす臨界点 $ (x^*, y^*) $ への収束が保証される。
• 値関数勾配の局所的ホルダー連続性を活用することで、大規模ステップサイズの使用に理論的根拠を与える。
• Sinkhorn GAN や Wasserstein GAN における数値実験では、定数ステップサイズおよび標準的バックトラッキングを上回る優れた性能を示す。
• バックトラッキングインデックスの単調性を要件としないことで、実用的効率が向上する。
• 解析の副産物として、ホルダー勾配法に対するグローバル収束結果が得られ、非凸最適化分野における先行研究を拡張する。