[論文レビュー] Efficient DC Algorithm for Constrained Sparse Optimization

Katsuya Tono, Akiko Takeda+1 more|arXiv (Cornell University)|Jan 30, 2017

Sparse and Compressive Sensing Techniques参考文献 27被引用数 22

ひとこと要約

本稿では、ℓ₀制約と凸制約を伴う制約付きスパース最適化のための効率的なProximal DCアルゴリズム（PDCA）およびその加速版（APDCA）を提案する。ℓ₀制約を滑らかなDC表現に再定式化することで、部分問題が単純な射影操作に簡略化され、閉形式解が得られ、収束が高速化される。APDCAは凸計画問題においてO(1/t²)の収束速度を達成し、部分列収束として静止点に収束する。

ABSTRACT

We address the minimization of a smooth objective function under an $\ell_0$-constraint and simple convex constraints. When the problem has no constraints except the $\ell_0$-constraint, some efficient algorithms are available; for example, Proximal DC (Difference of Convex functions) Algorithm (PDCA) repeatedly evaluates closed-form solutions of convex subproblems, leading to a stationary point of the $\ell_0$-constrained problem. However, when the problem has additional convex constraints, they become inefficient because it is difficult to obtain closed-form solutions of the associated subproblems. In this paper, we reformulate the problem by employing a new DC representation of the $\ell_0$-constraint, so that PDCA can retain the efficiency by reducing its subproblems to the projection operation onto a convex set. Moreover, inspired by the Nesterov's acceleration technique for proximal methods, we propose the Accelerated PDCA (APDCA), which attains the optimal convergence rate if applied to convex programs, and performs well in numerical experiments.

研究の動機と目的

• 追加の凸制約を伴うℓ₀制約付きスパース最適化問題を解く際、既存のDCアルゴリズムの非効率性を解消すること。
• 差の形で表された凸関数の第一項が滑らかであるように、ℓ₀制約のDC表現を構築し、部分問題で閉形式解が得られるようにすること。
• 射影に基づく部分問題を用いることで、凸制約下でも効率性を維持するProximal DCアルゴリズム（PDCA）の拡張。
• 非凸DC計画問題にネステロフの加速技術を適応させることで収束を加速し、凸プログラムに対して最適なO(1/t²)収束速度を達成するAPDCAの構築。
• 合成データおよび実世界データを用いた実験的検証により、提案手法が既存のDCAフレームワークを上回ることを示すこと。

提案手法

• ℓ₀制約を、第一項が滑らかな差の凸関数として再定式化し、凸集合への射影による効率的かつ部分問題の解法を可能にする。
• 変換された問題にPDCAを適用し、各部分問題が凸制約集合への射影に帰着されることを保証し、閉形式解を得る。
• 非凸計画問題に向けたネステロフ法のインスピレーションを受けて、非単調加速技術を組み込んだ加速PDCA（APDCA）を導入する。
• 補助変数と外挿法を用いた三段階反復スキームを採用し、収束を高速化する。収束速度の分析にはリャプノフ関数を用いる。
• 反復列におけるステップサイズに類似する項の消失と反復列の有界性を証明することで、静止点への収束を保証する。
• PDCAとProximal Gradient Method（PGM）との関係を活用し、加速フレームワークの正当化と非凸設定への拡張を図る。

実験結果

リサーチクエスチョン

• RQ1 凸制約下で部分問題に閉形式解が得られるように、ℓ₀制約の滑らかなDC表現を構築できるか？
• RQ2 標準的なDCAや非滑らかなDC分解を用いたPDCAと比較して、追加の凸制約が存在する場合でも、提案されたPDCA変種が効率性を維持できるか？
• RQ3 非凸DC計画問題にネステロフ風の加速を適応させることで、凸プログラムに対してO(1/t²)の収束速度を達成できるか？
• RQ4 加速アルゴリズム（APDCA）の収束挙動は、静止点への部分列収束としてどのように現れるか？
• RQ5 実際の制約付きスパース最適化問題において、既存のDCAベースの手法と比較して、提案手法はどのように性能を発揮するか？

主な発見

• 提案されたDC表現により、PDCAにおける部分問題が凸集合への射影に簡略化され、閉形式解が得られ、計算効率が著しく向上する。
• APDCAは凸プログラムに適用された場合、ネステロフの加速近位勾配法と同等の最適なO(1/t²)収束速度を達成する。
• 非単調ラインサーチ戦略が用いられても、アルゴリズムは非凸問題の静止点に部分列収束する。
• 合成データおよび実世界データを用いた数値実験により、APDCAは収束速度と解の品質の両面で、既存のDCAベース手法を上回ることが示された。
• 特にℓ₀制約とℓ₂ノルムまたは非負制約が同時に存在する状況において、信号処理、バイオインフォマティクス、機械学習の応用分野で、本手法は有効である。
• 理論的分析により、反復列の有界性と連続する反復間の差の収束がゼロに近づくことが確認され、静止点への収束を裏付ける。