[論文レビュー] When Are Nonconvex Problems Not Scary?

Ju Sun, Qing Qu+1 more|arXiv (Cornell University)|Oct 21, 2015

Sparse and Compressive Sensing Techniques参考文献 44被引用数 112

ひとこと要約

本稿では、すべての局所的最小値がグローバル最小値であり、すべてのサドル点が負の曲率を持つ非凸問題のクラスに対して、グローバル最小値への確実な収束を保証する2次の信頼領域アルゴリズムを提案する。この手法はヘッセ行列に基づく降下方向を用いてサドル点を効率的に回避し、任意の初期化から収束を保証する。

ABSTRACT

In this note, we focus on smooth nonconvex optimization problems that obey: (1) all local minimizers are also global; and (2) around any saddle point or local maximizer, the objective has a negative directional curvature. Concrete applications such as dictionary learning, generalized phase retrieval, and orthogonal tensor decomposition are known to induce such structures. We describe a second-order trust-region algorithm that provably converges to a global minimizer efficiently, without special initializations. Finally we highlight alternatives, and open problems in this direction.

研究の動機と目的

• 一般にはNP困難であるが、解ける非凸最適化問題の広いクラスを同定すること。
• 辞書学習や位相再構成のような問題において、勾配ベースのヒューリスティック手法がなぜしばしば実際的に成功するかを説明すること。
• 特定の幾何的構造を持つ非凸問題において、サドル点や局所的最大値を確実に回避し、収束を保証するアルゴリズムを構築すること。
• すべての局所的最小値がグローバル最小値であり、サドル点が負の曲率を持つ条件を確立することにより、効率的なグローバル最適化を可能にすること。

提案手法

• 各反復点まわりの目的関数の2次近似を、リーマンヘッセ行列と勾配情報を使って行う2次の信頼領域アルゴリズムを提案する。
• 多様体の接空間内での信頼領域半径Δの範囲内で2次モデルを最小化することにより、リーマン信頼領域部分問題を定義する。
• 更新された探索方向を多様体上に再投影するためにリトラクション写像を用い、反復点が常に妥当な解の範囲内に保たれることを保証する。
• サドル点および局所的最大値におけるヘッセ行列の負の曲率を活用し、それらの点から脱出する降下方向を特定する。
• 局所的近似の精度と乗り越え可能パラメータを用いて、各ステップで目的関数値が十分に減少することを保証する。
• 非最適点では常に降下ステップが利用可能であることを示すことにより、グローバル最小値への収束を確立する。解に近づくと2次収束を示す。

実験結果

リサーチクエスチョン

• RQ1 目的関数にどのような条件下であれば、一般にはNP困難である非凸問題であっても効率的に解けるのか？
• RQ2 なぜ勾配ベースのヒューリスティック手法が、辞書学習や位相再構成のような非凸問題においてしばしば実際的に成功するのか？
• RQ3 ヘッセ行列が少なくとも1つの負の固有値を持つ場合、信頼領域アルゴリズムがサドル点や局所的最大値を確実に乗り越えることができるか？
• RQ4 すべての局所的最小値がグローバル最小値であり、すべてのサドル点が「乗り越え可能」である非凸問題に対して、グローバル収束を保証するアルゴリズムを設計することは可能か？
• RQ5 2次手法のグローバル収束を保証するために、目的関数および多様体構造に必要な最小限の仮定は何か？

主な発見

• 提案された信頼領域アルゴリズムは、すべての局所的最小値がグローバル最小値であり、すべてのサドル点が負の曲率を持つ(α,β,γ,δ)-X関数と呼ばれる非凸問題のクラスに対して、グローバル最小値に収束する。
• ヘッセ行列における負の曲率方向を活用することで、各反復で目的関数値が十分に減少することが保証され、サドル点や局所的最大値からの脱出が可能になる。
• 任意の初期化から収束が保証されるため、慎重なまたは問題固有の初期化戦略の必要がなくなる。
• グローバル最小値の近傍では、信頼領域が制約のない場合に2次収束を示し、ニュートン法に類似した挙動を示す。
• 信頼領域半径Δが十分に小さい限り、局所的近似誤差に対してもロバストであり、信頼できる降下を保証する。
• 理論的および実験的結果から、辞書学習、一般化位相再構成、直交テンソル分解のような問題が、この好都合なクラスに属することが示唆される。