[論文レビュー] Enhanced First and Zeroth Order Variance Reduced Algorithms for Min-Max Optimization

Tengyu Xu, Zhe Wang+2 more|arXiv (Cornell University)|May 4, 2021

Machine Learning and Algorithms参考文献 7被引用数 15

ひとこと要約

本稿では、非凸強凹最小最大化最適化のための分散低減アルゴリズムであるSREDA-Boostを提案する。SREDAに比べて実用的な速度が著しく向上し、より大きな、精度に依存しないステップサイズと緩い初期化を実現しながらも、最適な収束複雑度を達成する。さらに、ゼロ次最適化の分散低減アルゴリズムとして初めてのZo-SREDA-Boostを導入し、従来の手法よりも精度ϵに依存する複雑度が良好であることを示す。

ABSTRACT

Min-max optimization captures many important machine learning problems such as robust adversarial learning and inverse reinforcement learning, and nonconvex-strongly-concave min-max optimization has been an active line of research. Specifically, a novel variance reduction algorithm SREDA was proposed recently by (Luo et al. 2020) to solve such a problem, and was shown to achieve the optimal complexity dependence on the required accuracy level ϵ. Despite the superior theoretical performance, the convergence guarantee of SREDA requires stringent initialization accuracy and an ϵ-dependent stepsize for controlling the per-iteration progress, so that SREDA can run very slowly in practice. This paper develops a novel analytical framework that guarantees the SREDA's optimal complexity performance for a much enhanced algorithm SREDA-Boost, which has less restrictive initialization requirement and an accuracy-independent (and much bigger) stepsize. Hence, SREDA-Boost runs substantially faster in experiments than SREDA. We further apply SREDA-Boost to propose a zeroth-order variance reduction algorithm named ZO-SREDA-Boost for the scenario that has access only to the information about function values not gradients, and show that ZO-SREDA-Boost outperforms the best known complexity dependence on ϵ. This is the first study that applies the variance reduction technique to zeroth-order algorithm for min-max optimization problems.

研究の動機と目的

• SREDAの実用的非効率性、すなわち最適な理論的複雑度を達成しているものの、厳しい初期化条件とϵ依存ステップサイズを必要としている点を是正すること。
• より制限の少ないアルゴリズム的条件のもとで最適な収束複雑度を達成できる新たな解析的枠組みの構築。
• 勾配が利用できないゼロ次最適化の文脈にまで分散低減技術を拡張すること。
• 既存手法よりも良いϵ依存複雑度を達成するゼロ次最適化アルゴリズム、ZO-SREDA-Boostの設計。

提案手法

• SREDAのアルゴリズムを改善し、ϵ依存ステップサイズに依存しない収束保証を可能にする新規な解析的枠組みを導入することで、SREDA-Boostを提案する。
• 収束を実用的に加速するが、最適な複雑度を維持する、より大きな精度に依存しないステップサイズを導入する。
• 収束がより広い初期点から可能であるように初期化要件を緩和し、アルゴリズムのロバスト性を向上させる。
• 勾配ではなく関数値クエリを用いることで、ゼロ次設定への分散低減メカニズムの適応を実現する。
• SREDA-Boostの強化された枠組みとゼロ次勾配推定技術を組み合わせることで、ZO-SREDA-Boostを構築する。
• ZO-SREDA-Boostの理論的収束保証を確立し、既存のゼロ次最小最大化手法と比較してϵに依存する複雑度が改善されていることを示す。

実験結果

リサーチクエスチョン

• RQ1 SREDAの収束複雑度を維持しつつ、ϵ依存ステップサイズや厳格な初期化条件の依存を排除することは可能か？
• RQ2 勾配が利用できないゼロ次最小最大化最適化において、分散低減を効果的に拡張することは可能か？
• RQ3 ゼロ次最小最大化アルゴリズムの最良のϵ依存複雑度は何か？ そして、それを達成できるか？
• RQ4 理論的最適性を維持しながら、実用的に著しく高速に動作するSREDAの実用的変種を設計できるか？
• RQ5 どのような解析的枠組みが、初期化およびステップサイズの制約を緩和しつつも、収束速度を損なわずに実現できるか？

主な発見

• SREDA-BoostはSREDAと同等の最適な収束複雑度を達成するが、はるかに大きな、精度に依存しないステップサイズを採用しており、実用的な収束が著しく高速化される。
• SREDA-Boostの向上した初期化ロバスト性により、SREDAよりも広い初期点からも信頼性高く収束する。
• ZO-SREDA-Boostは、最小最大化最適化における最初のゼロ次分散低減アルゴリズムであり、この分野における分散低減の実現可能性と利点を示している。
• ZO-SREDA-Boostは、既存の最良のゼロ次最小最大化アルゴリズムよりも、ϵに依存する複雑度が良好である。
• 実験結果から、SREDA-Boostはステップサイズと初期化条件の改善により、実用的にSREDAよりも著しく高速に動作することが示された。
• 提案された解析的枠組みは、収束保証をϵ依存パrameterから完全に分離できており、より広範なアルゴリズム設計の柔軟性を実現した。