[論文レビュー] Block Coordinate Descent Only Converge to Minimizers

Enbin Song, Zhubin Shen+1 more|arXiv (Cornell University)|Oct 25, 2017

Stochastic Gradient Optimization Techniques参考文献 18被引用数 3

ひとこと要約

本稿では、非凸関数における非孤立臨界点を伴う場合でも、ブロック座標勾配降下法、ブロックミラー降下法、およびプロキシマルブロック座標降下法が、確率的初期化のもとでほとんど確実に局所最小値に収束することを証明している。この結果は、位相的議論と複素解析を用いて、鞍点や一意でない臨界点が存在する場合でも収束を示すことで、Lee ら（2016）の勾配降下法に関する先行研究を拡張している。

ABSTRACT

Given a non-convex twice continuously differentiable cost function with Lipschitz continuous gradient, we prove that all of block coordinate gradient descent, block mirror descent and proximal block coordinate descent converge to a local minimizer, almost surely with random initialization. Furthermore, we show that these results also hold true even for the cost functions with non-isolated critical points.

研究の動機と目的

• 滑らかさの弱い条件のもとで、非凸最適化におけるブロック座標降下法の変種が局所最小値に収束することを確立すること。
• Lee ら（2016）が提起した、ブロック座標法が鞍点を避けるかどうかという未解決問題を解消すること。
• 非孤立臨界点にまでほぼ確実な収束結果を拡張し、Panageas と Piliouras（2016）の先行研究を一般化すること。
• 等方的ノイズを必要としない決定論的解析を提供すること。
• 勾配降下、ミラー降下、プロキシマル降下の3つの主要なブロック座標フレームワークの収束保証を統一すること。

提案手法

• 合成関数の連鎖律とブロック単位の微分可能性を用いて、各ブロック座標法の反復写像が微分同相写像であることを証明する。
• 臨界点における反復写像のヤコビ行列を、固有値分解とブロック行列の操作により簡略化された形に変換する。
• 複素解析におけるローチェの定理を適用し、鞍点においてヤコビ行列が絶対値が1より大きい固有値を少なくとも1つ持つことを示す。
• ミラー法およびプロキシマル法におけるポテンシャル関数の強い凸性を用いて、勾配写像が微分同相写像であることを保証する。
• 2回連続で微分可能で勾配がリプシッツ連続であるコスト関数の仮定のもとで、局所最小値への収束を確立する。
• 非孤立臨界点を扱うために、R^nにおける開被覆の可算被覆性を活用し、先行結果を拡張する。

実験結果

リサーチクエスチョン

• RQ1 非凸設定下で、確率的初期化のもとでブロック座標勾配降下法が局所最小値にほとんど確実に収束するか？
• RQ2 収束保証を非孤立臨界点を持つ関数へ拡張できるか？
• RQ3 ブロックミラー降下法およびプロキシマルブロック座標降下法も、鞍点を避けて局所最小値に収束するか？
• RQ4 等方的ノイズを必要としない決定論的ブロック座標法が、最小値へのほぼ確実な収束を達成できるか？
• RQ5 鞍点におけるブロック更新写像のヤコビ行列が、絶対値が1より大きい固有値を持つことが保証されるか？これにより、非最小値点での不安定性が保証されるか？

主な発見

• 勾配降下、ミラー降下、プロキシマル降下の3つのブロック座標法が、すべて確率的初期化のもとでほとんど確実に局所最小値に収束する。
• コスト関数に非孤立臨界点が存在する場合でも収束結果が成り立つため、以前の研究で孤立臨界点を仮定していた制限を一般化している。
• 鞍点における反復写像のヤコビ行列は、絶対値が1より大きい固有値を少なくとも1つ持つため、非最小値点での不安定性が保証される。
• ヤコビ行列をブロック行列形式に変換し、Roucheの定理を適用して固有値の絶対値を分析することで、証明が成り立つ。
• ミラー法およびプロキシマル法における勾配写像は、強い凸性のおかげで微分同相写像であるため、滑らかな逆写像が保証される。
• 確率的ノイズを避けており、定数ステップサイズにも適用可能であるため、標準的な実装に適用可能である。