[論文レビュー] Alternating minimization and alternating descent over nonconvex sets

Wooseok Ha, Rina Foygel Barber|arXiv (Cornell University)|Sep 13, 2017

Sparse and Compressive Sensing Techniques参考文献 30被引用数 8

ひとこと要約

本稿では、非凸集合における交替最小化および交替勾配降下法の線形収束を、非凸制約を扱うために局所的凹度係数を導入することで確立している。制限強凸性（RSC）、制限滑らかさ（RSM）、および有界な局所的凹度の下で、初期値が解の近くに設定されている場合、正確なバージョンと不正確なバージョンの両方で線形収束が保証される。これは、低ランク＋スparser分解やマルチタスク回帰などの構造的高次元問題における交替法の理論的裏付けを提供する。

ABSTRACT

We analyze the performance of alternating minimization for loss functions optimized over two variables, where each variable may be restricted to lie in some potentially nonconvex constraint set. This type of setting arises naturally in high-dimensional statistics and signal processing, where the variables often reflect different structures or components within the signals being considered. Our analysis relies on the notion of local concavity coefficients, which has been proposed in Barber and Ha to measure and quantify the concavity of a general nonconvex set. Our results further reveal important distinctions between alternating and non-alternating methods. Since computing the alternating minimization steps may not be tractable for some problems, we also consider an inexact version of the algorithm and provide a set of sufficient conditions to ensure fast convergence of the inexact algorithms. We demonstrate our framework on several examples, including low rank + sparse decomposition and multitask regression, and provide numerical experiments to validate our theoretical results.

研究の動機と目的

• 構造的制約を伴う非凸最適化問題における交替最小化の収束を分析すること。
• 非凸設定において、交替法が非交替的手法を上回る条件を確立すること。
• 最小化ステップが近似される不正確なアルゴリズムに対しても収束保証を拡張すること。
• 高次元統計における非凸構造的推定問題の理論的枠組みを提供すること。
• 低ランク＋スパース分解およびマルチタスク回帰における応用を通じて理論を検証すること。

提案手法

• 制約集合の非凸性を定量化するために局所的凹度係数を用い、非凸解析における凸性の一般化を実現する。
• 損失関数に対して制限強凸性（RSC）および制限滑らかさ（RSM）を適用し、望ましい曲率性質を保証する。
• 不正確な交替ステップの誤差を抑えられるように、緩和された三角不等式を導入する。
• 真の解からの距離に関するxおよびy変数における収縮不等式を導出する。
• 初期値が解に十分近い場合、正確な交替最小化が線形収束することを確立する。
• 局所的凹度とRSC/RSMを用いて、部分最適性とステップ誤差をバウンディングすることで、不正確なアルゴリズムへの結果の拡張を行う。

実験結果

リサーチクエスチョン

• RQ1 非凸集合上で最適化する際、交替最小化がどの条件下で線形収束するか。
• RQ2 非凸集合の局所的凹度係数が交替法の収束にどのように影響するか。
• RQ3 勾配ステップによる不正確な交替勾配降下法が、有界誤差仮定のもとでも線形収束を達成できるか。
• RQ4 非凸設定において、交替法が連合最適化を上回る理論的利点は何か。
• RQ5 RSCおよびRSM条項が非凸制約とどのように作用し、収束を保証するか。

主な発見

• 初期値が真の解に十分近い場合、正確な交替最小化において線形収束が達成される。
• 収束速度は局所的凹度係数および損失関数のRSC/RSMパラメータに依存する。
• 不正確なアルゴリズムでは、部分最適性とステップ誤差に依存する定数倍の要因まで収束速度が保たれる。
• 交替変数空間におけるより良い条件数のおかげで、非交替的手法よりも優れた性能を示す。
• 数値実験により、低ランク＋スパース分解およびマルチタスク回帰において線形収束が確認された。
• 本フレームワークは、凸でないが有界な局所的凹度を満たす非凸制約（例えば、低ランク行列）にも適用可能である。