[論文レビュー] I-LAMM for Sparse Learning: Simultaneous Control of Algorithmic Complexity and Statistical Error

Jianqing Fan, Han Liu+2 more|arXiv (Cornell University)|Jul 3, 2015

Sparse and Compressive Sensing Techniques参考文献 30被引用数 8

ひとこと要約

本稿では、高次元スパース学習におけるアルゴリズム的複雑さと統計的誤差を同時に制御する2段階の反復的アルゴリズム、I-LAMMを提案する。精度許容誤差を徐々に小さくする一連の凸計画問題を解くことで、最初の段階では非線形の反復複雑度を達成し、2番目の段階では線形収束を達成する。これにより、最小信号強度条件が従来の手法よりも弱いという弱い仮定のもとで、最適な統計的性能を持つ推定量が得られる。

ABSTRACT

We propose a computational framework named iterative local adaptive majorize-minimization (I-LAMM) to simultaneously control algorithmic complexity and statistical error when fitting high dimensional models. I-LAMM is a two-stage algorithmic implementation of the local linear approximation to a family of folded concave penalized quasi-likelihood. The first stage solves a convex program with a crude precision tolerance to obtain a coarse initial estimator, which is further refined in the second stage by iteratively solving a sequence of convex programs with smaller precision tolerances. Theoretically, we establish a phase transition: the first stage has a sublinear iteration complexity, while the second stage achieves an improved linear rate of convergence. Though this framework is completely algorithmic, it provides solutions with optimal statistical performances and controlled algorithmic complexity for a large family of nonconvex optimization problems. The iteration effects on statistical errors are clearly demonstrated via a contraction property. Our theory relies on a localized version of the sparse/restricted eigenvalue condition, which allows us to analyze a large family of loss and penalty functions and provide optimality guarantees under very weak assumptions (For example, I-LAMM requires much weaker minimal signal strength than other procedures). Thorough numerical results are provided to support the obtained theory.

研究の動機と目的

• 非凸スパース学習における理論的保証と実用的計算のギャップを埋める。
• 制御された計算複雑性を維持しながら最適な統計的性能を達成するアルゴリズムを開発する。
• 未知のパラメータに依存する制約を課さずに、アルゴリズムによって正確に計算された推定量に対する理論的保証を提供する。
• 収束行動におけるフェーズ遷移を確立する：最初の段階では非線形複雑度、2番目の段階では線形収束。

提案手法

• I-LAMMは、局所的適応的マジョライズation-ミニマライゼーションに基づく2段階のアルゴリズムフレームワークである。
• 最初の段階では、粗い精度許容誤差で凸計画問題を解き、粗い初期推定量を得る。
• 2番目の段階では、徐々に厳密な精度許容誤差を設定した一連の凸計画問題を繰り返し解くことで推定量を段階的に改善する。
• ペナルティ重みは、前の反復点に基づいて、折りたたみ凹関数の導関数を用いて適応的に更新される。
• 収束と統計的性質の分析には、局所的なスパース固有値条件が用いられる。
• 収束は収縮性質を介して確立され、各反復で誤差が減少することが保証される。

実験結果

リサーチクエスチョン

• RQ1 計算的に効率的なアルゴリズムは、高次元非凸スパース学習において最適な統計的性能を達成できるか？
• RQ2 収束を保証しながら、制御された反復複雑度を維持できるか？
• RQ3 既存の手法と比較して、最小信号強度に依存するアルゴリズムの性能はいかがなっているか？
• RQ4 理論的保証は、理想化されたグローバル最適解ではなく、実際にアルゴリズムによって計算された推定量に対しても確立できるか？
• RQ5 初期段階と改善段階の間で収束行動にフェーズ遷移が見られるか？

主な発見

• I-LAMMは最初の段階で非線形反復複雑度、2番目の段階で線形収束を達成し、アルゴリズム的効率にフェーズ遷移を示す。
• 最小信号強度要件が極めて弱く、既存の手続きよりも弱い条件下で最適な統計的性能を達成する。
• 理論的保証は、仮想的なグローバル最適解ではなく、実際にアルゴリズムによって計算された推定量に対しても確立されている。
• 従来の手法がℓ1-ボール制約を課すのとは異なり、未知の真のパラメータに依存する制約を一切必要としない。
• 収縮性質により、統計的誤差が各反復で減少し、誤差が定数Cに対してCλ²sで有界であることが保証される。
• 最終的な推定量は∥β(ℓ,k) − β∗∥₂ ≤ C′λ√sを満たし、弱い仮定のもとで最適な収束速度が達成されていることが確認される。