[論文レビュー] Composite Self-Concordant Minimization

Quoc Tran-Dinh, Anastasios Kyrillidis+1 more|arXiv (Cornell University)|Aug 13, 2013

Sparse and Compressive Sensing Techniques参考文献 65被引用数 64

ひとこと要約

本稿では、滑らかで自己調和的（self-concordant）な関数と、計算可能な近位作用素を持つ非滑らかで凸な関数の和である合成自己調和的関数を最小化するための変数メトリックフレームワークを導入する。標準的なリプシッツ連続勾配仮定を必要としない。主な貢献は、自己調和性に基づく新しいステップサイズ選択および補正機構であり、弱い条件下でも超線形収束を達成する。

ABSTRACT

We propose a variable metric framework for minimizing the sum of a self-concordant function and a possibly non-smooth convex function, endowed with an easily computable proximal operator. We theoretically establish the convergence of our framework without relying on the usual Lipschitz gradient assumption on the smooth part. An important highlight of our work is a new set of analytic step-size selection and correction procedures based on the structure of the problem. We describe concrete algorithmic instances of our framework for several interesting applications and demonstrate them numerically on both synthetic and real data.

研究の動機と目的

• 滑らかな成分にリプシッツ連続勾配の仮定がない場合の合成凸最適化におけるグローバル収束保証の欠如に対処する。
• リプシッツ連続勾配仮定に依存しない収束性と効率性を維持するフレームワークを開発する。
• 自己調和性理論に基づくステップサイズ選択および補正戦略を導入し、収束のロバスト性を確保する。
• 自己調和的関数と計算可能な近位作用素を持つ正則化項を含む合成問題に対して、グローバル収束と超線形収束率を実現する。
• スパース最適化、グラフ学習、その他の非滑らか正則化付きの構造的問題に適用可能な統一的アルゴリズムフレームワークを提供する。

提案手法

• 滑らかな部分のヘッシアン行列を近位作用素におけるメトリックとして用いる変数メトリック近位ニュートンスキームを提案する。
• 滑らかな関数の自己調和性に基づく新しいステップサイズ選択ルールを設計し、目的関数の十分な減少を保証する。
• 非リプシッツ連続滑らか性下でも収束を維持するための探索方向の補正手順を導入する。
• ヘッシアン近似が漸近的に改善される場合に、Dennis-Moré 条件を用いて超線形収束を確立する。
• 変数メトリックを用いた一般化近位作用素を用いてアルゴリズムを定式化し、高次元設定でも効率的な計算を可能にする。
• 自己調和ポテンシャルに基づくリャプノフ型関数を用いて収束を確立し、リプシッツ仮定なしにグローバル収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 滑らかな成分にリプシッツ連続勾配仮定を課さずに、合成自己調和的最小化のグローバル収束を達成できるか？
• RQ2 自己調和的関数の内在的幾何構造を活用した適応的ステップサイズ設計により、収束を保証できるか？
• RQ3 ヘッシアン近似が反復ごとに改善される場合、変数メトリック法で超線形収束が保証される条件は何か？
• RQ4 非滑らか正則化項が存在する中で、リプシッツ勾配仮定を排除しても計算の実行可能性を維持できるか？
• RQ5 非リプシッツ連続滑らか性下で、従来の近位勾配法やニュートン型手法と比較して、提案フレームワークの収束速度とロバスト性はどのように異なるか？

主な発見

• 提案フレームワークは、滑らかな部分にリプシッツ連続勾配仮定を必要とせず、合成自己調和的最小化に対してグローバル収束を達成する。
• ヘッシアン近似が Dennis-Moré 条件を満たす弱い条件下で、アルゴリズムは超線形収束を示す。
• ステップサイズ選択および補正機構は、自己調和性構造から直接導出されており、十分な減少と安定性を保証する。
• 収束速度はグローバルに線形であり、条件数およびヘッシアン近似の精度に依存する要因を持つ。
• ヘッシアンがグローバルにリプシッツでない場合でも、局所的自己調和性の性質に依存することで、グローバル収束を維持する。
• 合成データおよび実データを用いた数値実験により、本手法のロバスト性とスパース回復・低ランク回復タスクにおける効率性が確認された。