[論文レビュー] Proximal Iteratively Reweighted Algorithm with Multiple Splitting for Nonconvex Sparsity Optimization

Canyi Lu, Yunchao Wei+2 more|arXiv (Cornell University)|Apr 28, 2014

Sparse and Compressive Sensing Techniques参考文献 18被引用数 10

ひとこと要約

本稿では、非凸スパarsity最適化のための複数分割を用いたProximal Iteratively Reweighted（PIRE）アルゴリズムを提案する。非凸問題の一般クラスを、反復的重み付けとプロキシマル更新を繰り返すことで解く。この手法は収束保証と停留点解の達成を伴い、スパースリカバリーおよびマルチタスク学習などの合成的・実世界のタスクにおいて、IRLS、IRL1、およびマルチステージソルバーよりも優れた効率性を達成する。

ABSTRACT

This paper proposes the Proximal Iteratively REweighted (PIRE) algorithm for solving a general problem, which involves a large body of nonconvex sparse and structured sparse related problems. Comparing with previous iterative solvers for nonconvex sparse problem, PIRE is much more general and efficient. The computational cost of PIRE in each iteration is usually as low as the state-of-the-art convex solvers. We further propose the PIRE algorithm with Parallel Splitting (PIRE-PS) and PIRE algorithm with Alternative Updating (PIRE-AU) to handle the multi-variable problems. In theory, we prove that our proposed methods converge and any limit solution is a stationary point. Extensive experiments on both synthesis and real data sets demonstrate that our methods achieve comparative learning performance, but are much more efficient, by comparing with previous nonconvex solvers.

研究の動機と目的

• 従来の凸緩和が真のスパarsityを捉えきれない場合に、非凸スパarsity問題を効率的に解く挑戦に応えること。
• 幅広い非凸スパースおよび構造的スパース最適化問題に適用可能な汎用アルゴリズムの開発。
• 低コストの反復計算を維持しつつ、停留点への理論的収束を保証すること。
• 並列および交互更新スキームを用いて、多変数問題への拡張を図り、スケーラブルな最適化を実現すること。
• 既存の非凸ソルバーよりも優れた効率性と、合成的および実世界のデータセットにおいて同等の性能を示すことを実証すること。

提案手法

• 一般非凸問題 minₓ F(x) = λf(g(x)) + h(x) を解くためのPIREアルゴリズムを提案。ここで f は凹関数かつ非負、g は非負、h は C¹,¹ スムーズ。
• 各反復で凸部分問題を解く反復的重み付けを用いる：minₓ λ⟨wᵏ, g(x)⟩ + ½‖x − b‖²₂。
• 分離可能な構造を持つ多変数問題を扱うため、PIRE-PS（Parallel Splitting）およびPIRE-AU（Alternative Updating）を導入。
• 現在の反復点から導かれる適応的重みを用いたプロキシマル更新を活用し、降下性と収束性を保証。
• ℓpノルム（0 < p < 1）、キャップド-ℓ1、およびノルムベース関数によるグループスパarsityなど、非凸ペナルティ関数への適用を実施。
• 問題の構造的条件のもとで、任意の反復列の極限点が停留点であることを理論的に証明し、収束保証を確立。

実験結果

リサーチクエスチョン

• RQ1 非凸スパarsity最適化のための汎用的かつ効率的なアルゴリズムを開発可能か？ これは、従来のソルバーよりも高いコストを回避する。
• RQ2 反復的重み付けアプローチを、多変数および構造的スパarsity問題に拡張可能か？ また、収束性を維持できるか？
• RQ3 提案されたPIREフレームワークの計算コストおよび収束性能は、IRLS、IRL1、およびマルチステージアルゴリズムと比較してどうか？
• RQ4 合成的および実世界のデータにおいて、著しく短い実行時間で同等の学習性能を達成可能か？
• RQ5 非凸的・非滑らかでない・非凸な設定下でも、収束保証と停留性を維持できるか？

主な発見

• PIRE、PIRE-PS、PIRE-AUは、問題の構造的条件のもとで停留点への収束を理論的に保証する。
• PIRE-PSおよびPIRE-AUは、標準的なPIREよりも高速に収束し、合成的スパースリカバリー課題において反復回数と実行時間が少ない。
• 合成データでは、PIRE-PSおよびPIRE-AUはIRLSに比べ最大50%、IRL1に比べ最大30%の実行時間を短縮したが、同等の目的関数値を達成した。
• Isoletデータセットにおけるマルチタスク学習では、PIREベースの手法はマルチステージアルゴリズムと同等のテストMSEを達成したが、実行時間は最大5倍速くなった（訓練比率30%時）。
• IRL1は初期化の良さと内側ループの反復回数の少なさのおかげでIRLSより効率的であり、PIREの変種でも同様の傾向が観察された。
• PIREベースの手法は、全テストデータサイズおよびスパarsityレベルにおいて、競争力のある一般化性能を維持した。これにより、堅牢性とスケーラビリティが確認された。