[論文レビュー] Newton-type Methods for Minimax Optimization

Guojun Zhang, Kaiwen Wu+2 more|arXiv (Cornell University)|Jun 25, 2020

Advanced Bandit Algorithms Research参考文献 50被引用数 11

ひとこと要約

本稿では、非凸非凹なミニマックス最適化のための2つの新規ニュートン型アルゴリズム—勾配降下ニュートン法（GDN）とコンプリートニュートン法（CN）—を提案する。これらは2次情報を利用することで局所的超線形収束を達成する。主な貢献は、CNが局所的2次収束を達成し、病的な条件数の問題に対しても効果的に対処しつつ、1次手法と同等の計算複雑度を維持できることである。

ABSTRACT

Differential games, in particular two-player sequential zero-sum games (a.k.a. minimax optimization), have been an important modeling tool in applied science and received renewed interest in machine learning due to many recent applications, such as adversarial training, generative models and reinforcement learning. However, existing theory mostly focuses on convex-concave functions with few exceptions. In this work, we propose two novel Newton-type algorithms for nonconvex-nonconcave minimax optimization. We prove their local convergence at strict local minimax points, which are surrogates of global solutions. We argue that our Newton-type algorithms nicely complement existing ones in that (a) they converge faster to strict local minimax points; (b) they are much more effective when the problem is ill-conditioned; (c) their computational complexity remains similar. We verify the effectiveness of our Newton-type algorithms through experiments on training GANs which are intrinsically nonconvex and ill-conditioned. Our code is available at https://github.com/watml/min-max-2nd-order.

研究の動機と目的

• 非凸非凹ミニマックス問題における1次手法の限界、特に病的な条件数の設定下での劣悪な収束性を是正すること。
• 既存の1次手法よりも高速な局所的収束を達成する2次手法の開発。
• ミニマックス最適化におけるニュートン型手法の局所的収束速度および収束近傍の形式的確立。
• 生成対抗ネットワーク（GAN）のトレーニングを含む、実践的ディープラーニング応用における2次手法の効率的実装。

提案手法

• フォロワーに対してニュートンステップ、リーダーに対して勾配降下法を用いる勾配降下ニュートン法（GDN）を提案。
• リーダーおよびフォロワーの両方に対して逆ヘッセ行列情報を用いたニュートン更新を実行するコンプリートニュートン法（CN）を導入。
• 高次元設定におけるヘッセ逆行列系の効率的解法として、ニュートン・コーエン（Newton-CG）法を採用。
• 安定性と収束を保証するため、正確なラインサーチを用いた交互更新を採用。
• 変換されたサドルポイント条件に基づき、連続的ダイナミクスと離散的更新則を導出。
• GDNおよびCNの両者について、明示的な非漸近的収束速度および初期値の近傍を証明。

実験結果

リサーチクエスチョン

• RQ1 2次手法は、非凸非凹ミニマックス問題において、1次手法よりも高速な局所的収束を達成できるか？
• RQ2 特にリーダーやフォロワーのヘッセ行列が病的な条件数を持つ場合、ニュートン型手法はどのように性能を示すか？
• RQ3 高次元設定において、2次手法は1次手法と同等の計算効率を維持できるか？
• RQ4 ミニマックス最適化におけるニュートン型アルゴリズムの正確な局所的収束速度および初期値の近傍は何か？
• RQ5 これらの手法は、GANトレーニングなどの実世界のディープラーニング問題に効果的に応用可能か？

主な発見

• コンプリートニュートン法（CN）は、厳密な局所的ミニマックス点への局所的2次収束を達成し、1次手法に比べて収束速度が著しく優れている。
• CNは、リーダーおよびフォロワーの両方の問題における病的な条件数を効果的に緩和し、条件数にかかわらず高速な収束を維持する。
• 提案手法、特にCNは計算的に効率的であり、1次手法（例：TGDAやFR）と同等の複雑度を有するが、2次手法であるにもかかわらず。
• 理論的分析により、従来の類似手法では不足していた、正確な非漸近的収束速度および明示的な初期値近傍が得られた。
• GANトレーニングにおける実験では、CNが1次ベースラインに比べてより高速かつロバストに収束することが示された。特に病的な条件数の状況下で顕著な優位性を示した。