[論文レビュー] Convergence of cyclic coordinatewise l1 minimization

Kshitij Khare, Bala Rajaratnam|arXiv (Cornell University)|Apr 21, 2014

Sparse and Compressive Sensing Techniques参考文献 23被引用数 7

ひとこと要約

本稿は、ℓ₁正則化最適化問題における循環座標最小化（CCM）の厳密な収束証明を確立している。目的関数はℓ₁ノルムのため非厳密凸かつ非滑らかである。著者らは、CCMによって生成される反復列が静止点に収束することを証明し、高次元統計および機械学習分野で広く用いられるこのアルゴリズムに対する理論的保証の長年の欠落を解消した。

ABSTRACT

We consider the general problem of minimizing an objective function which is the sum of a convex function (not strictly convex) and absolute values of a subset of variables (or equivalently the l1-norm of the variables). This problem appears exten- sively in modern statistical applications associated with high-dimensional data or "big data", and corresponds to optimizing l1-regularized likelihoods in the context of model selection. In such applications, cyclic coordinatewise minimization (CCM), where the objective function is sequentially minimized with respect to each individual coordi- nate, is often employed as it offers a computationally cheap and effective optimization method. Consequently, it is crucial to obtain theoretical guarantees of convergence for the sequence of iterates produced by the cyclic coordinatewise minimization in this setting. Moreover, as the objective corresponds to at l1-regularized likelihoods of many variables, it is important to obtain convergence of the iterates themselves, and not just the function values. Previous results in the literature only establish either, (i) that every limit point of the sequence of iterates is a stationary point of the objective function, or (ii) establish convergence under special assumptions, or (iii) establish con- vergence for a different minimization approach (which uses quadratic approximation based gradient descent followed by an inexact line search), (iv) establish convergence of only the function values of the sequence of iterates produced by random coordinatewise minimization (a variant of CCM). In this paper, a rigorous general proof of convergence for the cyclic coordinatewise minimization algorithm is provided. We demonstrate the usefulness of our general results in contemporary applications.

研究の動機と目的

• 非厳密凸かつ非滑らかであるがためにℓ₁ノルムを含むℓ₁正則化最適化問題における循環座標最小化（CCM）の一般理論的収束保証を確立すること。
• 目的関数が厳密凸性を欠く場合やグローバル最小値が一意でない場合に、CCMの収束証明が不足している高次元設定における問題を解決すること。
• 高次元回帰や共分散推定などの現代の統計的・機械学習的応用分野で広く用いられるCCMの背後にある理論的基盤を強固にすること。
• 関数値の収束や制限的な仮定に依存する理論を超えて、反復列自体の収束を示すことで理論的理解を拡張すること。
• 高次元共分散推定とロジスティック回帰の2つの主要な応用に一般理論を適用して検証すること。

提案手法

• 目的関数として、2回微分可能かつ強い凸性を持つ関数g(E x)と、変数の部分集合に対するℓ₁ノルムペナルティの和を最小化する一般最適化問題を定式化し、非負制約を課す。
• 絶対値が大きい座標の数に関する再帰的帰納法を用いて、反復列が静止点に収束することを示す。
• 座標値の範囲を縮小するスケーリング要因σ_kに基づく入れ子の区間T_iを導入し、ピーコンホールドの原理を適用する。
• ピーコンホールドの原理を用いて、現在の反復ベクトルに含まれない要素を含む区間を同定し、極限点に収束する部分列の構成を可能にする。
• キーレムマ（補題3.13）を適用し、ある数の座標が閾値を超える場合、新たな反復列が静止点に収束することを示す。
• 各反復ステップで静止点集合への距離がσ_k < 1の係数で幾何的に減少することを示すことで、反復列全体の収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 非厳密凸な目的関数を有するℓ₁正則化最適化問題において、循環座標最小化（CCM）は静止点に収束するか？
• RQ2 制限的な仮定を課さずに、高次元的・非滑らか・非厳密凸な設定下でのCCMに対する一般収束証明を確立できるか？
• RQ3 関数値の収束ではなく、反復列自体が収束する条件は何か？
• RQ4 CCMの理論的収束性を高次元共分散推定やロジスティック回帰といった実用的応用に拡張できるか？
• RQ5 ℓ₁ペナルティによりある方向に平坦な場合、反復列の収束をどのように証明できるか？

主な発見

• 本稿は、循環座標最小化によって生成される反復列の任意の極限点が、目的関数の静止点であることを確立している。
• 目的関数にやや厳しい仮定を課すことで、反復列自体が静止点に収束することを証明した。関数値の収束とは異なり、反復列そのものの収束を保証している。
• 収束は幾何的性質を示しており、各ステップで静止点集合への距離がσ_k < 1の係数で減少する。
• 証明技法は、座標空間を区間で分割し、ピーコンホールドの原理を用いてゼロから遠ざかっている座標を同定することに依存している。
• 一般収束結果を応用し、高次元共分散推定とロジスティック回帰におけるCCMの収束を証明した。
• 本研究は、厳密凸性や特別な初期化を要件としない、ℓ₁正則化問題におけるCCMの最初の一般的かつ厳密な収束証明を提供することで、文献における理論的ギャップを埋めた。