[論文レビュー] Gradient descent with nonconvex constraints: local concavity determines convergence

Rina Foygel Barber, Wooseok Ha|arXiv (Cornell University)|Mar 22, 2017

Sparse and Compressive Sensing Techniques参考文献 22被引用数 7

ひとこと要約

本稿では、非凸制約集合が凸性からどれほど逸脱しているかを特徴付けるための局所的凸性係数を導入し、投影勾配降下法の収束解析を可能にしている。これらの係数は、4つの幾何的および最適性に基づく測定値と同等であり、近似投影を伴う場合でさえ線形収束を支配することが証明されており、低ランクおよびスparserな推定に応用可能である。

ABSTRACT

Many problems in high-dimensional statistics and optimization involve minimization over nonconvex constraints-for instance, a rank constraint for a matrix estimation problem-but little is known about the theoretical properties of such optimization problems for a general nonconvex constraint set. In this paper we study the interplay between the geometric properties of the constraint set and the convergence behavior of gradient descent for minimization over this set. We develop the notion of local concavity coefficients of the constraint set, measuring the extent to which convexity is violated, which govern the behavior of projected gradient descent over this set. We demonstrate the versatility of these concavity coefficients by computing them for a range of problems in low-rank estimation, sparse estimation, and other examples. Through our understanding of the role of these geometric properties in optimization, we then provide a convergence analysis when projections are calculated only approximately, leading to a more efficient method for projected gradient descent in low-rank estimation problems.

研究の動機と目的

• 非凸制約集合上で投影勾配降下法が収束する幾何的条件を理解すること。
• 曲率、投影行動、一次最適性を結びつける統一的な枠組みを構築すること。
• 収束保証を維持したまま計算効率の良い最適化を可能にするため、近似投影を許容すること。
• 低ランク行列推定や非凸正則化子（例：SCAD や ℓq）を用いたスパース回復といった実用的問題への応用

提案手法

• ℓ1 や核ノルムなどの構造的ノルムに関連する非凸性の尺度として、局所的凸性係数 γx(C) を導入する。
• 凸結合、一次条件、投影行動、曲率の4つの非凸性の特徴づけが同等であることを確立する。
• 制限された強い凸性と滑らかさのもとで、近似投影を伴う投影勾配降下法を分析する。
• 正確な投影で初期化し、その後因子分解更新に切り替えることで、低ランク推定に向けた効率的な近似投影法を提案する。
• 双対ノルム構造を用いて制約集合のノルム幾何と勾配ステップとの相互作用を定式化する。
• 低ランク行列回復問題において実験的に手法を検証し、1回の正確な投影ステップで、その後の更新が効率的に行えることを示した。

実験結果

リサーチクエスチョン

• RQ1 非凸制約集合の幾何的性質は、投影勾配降下法の収束にどのように影響するか？
• RQ2 局所的凸性係数は、最適化における非凸性の異なる概念を統一的に扱えるか？
• RQ3 不正確な投影を伴う投影勾配降下法が線形収束する条件は何か？
• RQ4 非凸正則化子（例：SCAD や ℓq）を用いた制約付き最適化とペナルティ付き最適化は、どのように比較できるか？
• RQ5 収束性を損なわずに正確な投影の計算コストを削減できるか？

主な発見

• 局所的凸性係数 γx(C) は、非凸性の4つの異なる特徴づけと同等であり、統一的な幾何的測度を提供する。
• 局所的凸性係数が有界な近傍に初期化された場合、近似投影を伴う投影勾配降下法は、グローバル最小値へ線形収束する。
• 低ランク推定においては、1回の正確な投影に続いて因子分解勾配降下法を用いることで、完全な投影勾配降下法と同等の性能が達成できる。
• 損失関数の減少が速く、投影勾配降下法が初期段階で最も急激な収束を示すが、近似法や因子分解法も速やかに追いつく。
• 実験結果から、1回の初期正確投影があれば、その後の近似または因子分解手法が完全な投影勾配降下法の性能を再現可能であることが示された。
• 本フレームワークは、低ランク行列、スパースベクトル、その他の非凸幾何を持つ構造的集合を含め、広く非凸制約に適用可能である。