[論文レビュー] Local Saddle Point Optimization: A Curvature Exploitation Approach

Leonard Adolphs, Hadi Daneshmand+2 more|arXiv (Cornell University)|May 15, 2018

Stochastic Gradient Optimization Techniques参考文献 31被引用数 26

ひとこと要約

本稿では、非凸・非凹な鞍点問題における非最適な定常点から脱出するために、ヘッセ行列の最大固有値と最小固有値という極端な曲率情報を活用する、Curvature-Exploiting Saddle Point (Cesp) 最適化という新規手法を提案する。この手法は勾配ベース最適化において望ましくない鞍点への収束を保証的に回避できることを示しており、GAN やトゥイ問題において、安定性と局所的最適なミニマックス解への収束性が向上することを実証した。

ABSTRACT

Gradient-based optimization methods are the most popular choice for finding local optima for classical minimization and saddle point problems. Here, we highlight a systemic issue of gradient dynamics that arise for saddle point problems, namely the presence of undesired stable stationary points that are no local optima. We propose a novel optimization approach that exploits curvature information in order to escape from these undesired stationary points. We prove that different optimization methods, including gradient method and Adagrad, equipped with curvature exploitation can escape non-optimal stationary points. We also provide empirical results on common saddle point problems which confirm the advantage of using curvature exploitation.

研究の動機と目的

• 勾配ベースの鞍点最適化において、局所的最適なミニマックス解でないにもかかわらず安定な定常点が存在するという根本的問題に対処すること。
• 標準の勾配ダイナミクス下で安定であるが、局所的ミニマックス構造を満たさない不適切な定常点を特定し、それらから脱出すること。
• ヘッセ行列の極端な固有値を活用する曲率に基づく手法を開発し、局所的最適な鞍点に最適化を誘導すること。
• 曲率の活用が勾配降下法や Adagrad などの手法において、非最適な定常点からの脱出を可能にすることを証明すること。
• 一般的な鞍点問題、特に GAN を含む実用的応用において、曲率活用の利点を経験的に検証すること。

提案手法

• 本手法は、x 変数におけるヘッセ行列の最大固有値と y 変数における最小固有値に注目することで、極端な曲率を活用する。
• 標準の勾配更新を、ヘッセ行列の極端な固有ベクトルから導出される変換行列を用いて、曲率情報を組み込む形で変更する。
• 更新則は、x におけるヘッセ行列の負の曲率と y における正の曲率を、それぞれ降下と上昇を効果的に誘導するように設計されている。
• 勾配降下法や Adagrad といった標準的手法に対して、曲率に配慮したスケーリングを適用する変換行列を用いて、更新行列を変換することで本手法を適用する。
• 理論的分析により、小さなステップサイズのもとで、局所的最適な鞍点は安定したままに保たれ、非最適な定常点は曲率の活用によって不安定化されることを示した。
• 本手法は二目的 GAN 訓練と互換性があり、生成器と判別器のパラメータを別々に処理し、曲率情報を活用する。

実験結果

リサーチクエスチョン

• RQ1 非凸・非凹な鞍点問題において、曲率情報は局所的最適な鞍点と非最適な定常点を区別できるか？
• RQ2 標準の勾配法は、安定ではあるが局所的ミニマックス構造を満たさない非最適な定常点に収束するか？
• RQ3 ヘッセ行列の極端な固有値における曲率の活用によって、非最適な定常点は不安定化され、局所的最適な解への収束が誘導されるか？
• RQ4 提案された曲率活用型最適化手法は、GAN 訓練などの実用的応用において収束性と安定性を向上させるか？
• RQ5 Adagrad や勾配降下法などの既存手法に適用した場合、曲率に基づく更新は有効か？

主な発見

• 提案された Cesp 手法は、標準の勾配ダイナミクス下で安定であるが非最適な定常点から効果的に脱出でき、標準的手法では保証されない。
• 理論的分析により、極端な固有値による曲率の活用が、小さなステップサイズのもとで局所的最適な鞍点を安定化させると同時に、非最適な定常点を不安定化させることを証明した。
• トゥイ鞍点問題における経験的結果から、Cesp は勾配降下法に比べて望ましい局所的最適な鞍点への吸引域を著しく拡大していることが示された。
• MNIST における単層 GAN 訓練では、Cesp により生成器のヘッセ行列の最小固有値の振動が減少し、負の曲率のより良い活用が示された。
• Cesp の下で、判別器のヘッセ行列の最大固有値は良好に制御されており、上昇方向における安定性の向上を示唆している。
• 標準の勾配法が非最適点での偽の安定性のため失敗する状況でも、本手法は望ましい解への収束を維持している。