[論文レビュー] Speeding-Up Convergence via Sequential Subspace Optimization: Current State and Future Directions

Michael Zibulevsky|arXiv (Cornell University)|Dec 31, 2013

Sparse and Compressive Sensing Techniques参考文献 25被引用数 4

ひとこと要約

本稿では、過去の探索方向および勾配の拡大部分空間上で目的関数を最小化することにより、大規模な無制約最適化における収束速度を向上させるフレームワークとして、逐次部分空間最適化（SESOP）を提案する。平滑な凸関数に対して$1/k^2$の収束を達成し、二次関数問題では共役勾配法と同等の性能を示す。Truncated Newton、座標降下法、および補助関数と統合することで、ノイズ除去、デコンボリューション、SVMタスクにおいて標準的手法を上回る性能を発揮する。

ABSTRACT

This is an overview paper written in style of research proposal. In recent years we introduced a general framework for large-scale unconstrained optimization -- Sequential Subspace Optimization (SESOP) and demonstrated its usefulness for sparsity-based signal/image denoising, deconvolution, compressive sensing, computed tomography, diffraction imaging, support vector machines. We explored its combination with Parallel Coordinate Descent and Separable Surrogate Function methods, obtaining state of the art results in above-mentioned areas. There are several methods, that are faster than plain SESOP under specific conditions: Trust region Newton method - for problems with easily invertible Hessian matrix; Truncated Newton method - when fast multiplication by Hessian is available; Stochastic optimization methods - for problems with large stochastic-type data; Multigrid methods - for problems with nested multilevel structure. Each of these methods can be further improved by merge with SESOP. One can also accelerate Augmented Lagrangian method for constrained optimization problems and Alternating Direction Method of Multipliers for problems with separable objective function and non-separable constraints.

研究の動機と目的

• 信号処理および画像処理に一般的に見られる大規模で悪条件な最適化問題における収束の遅さという課題に対処すること。
• 実際の応用で悲観的な最悪ケースの境界を持つ、ネステロフ法やFISTAなどの一次元法の限界を克服すること。
• 非二次的、スパース的、および合成的目的関数に対して、CGの高速収束性と一次元法のロバスト性を統合した包括的なフレームワークを開発すること。
• Truncated Newton、並列座標降下法、分離可能な補助関数といった既存の加速技術とSESOPを統合し、多様な応用分野における性能を向上させること。
• 増大ラグランジュ法およびADMMを用いてSESOPを制約付き最適化に拡張し、サドルポイント問題や非分離問題においても加速を可能とすること。

提案手法

• 現在の勾配、最近の探索ステップ、および過去の勾配の重み付き和で張られるアフィン部分空間上で目的関数を最小化するSESOPを定式化し、$1/k^2$収束率を維持する。
• SESOPの反復内でTruncated Newton（TN）法を適用し、低次元部分空間のサブプロブレムを効率的に解き、ヘシアンの逆行列計算コストを削減する。
• 勾配降下法の代わりに並列座標降下法（PCD）および分離可能な補助関数（SSF）方向を用いることで、反復ごとの計算コストを低減する。
• $f(x) = \phi(Ax)$の形の関数に対しては、高速な行列・ベクトル積（例：FFT、ウェーブレット）を活用し、以前の乗算を再利用することで部分空間最適化を加速する。
• 粗めのグリッド解を探索方向に含めることで、マルチグリッド設定にSESOPを拡張し、マルチグリッドの効率性とCG型収束性を統合する。
• 増大ラグランジュ法およびADMMフレームワーク内において、プライム変数と双対変数の部分空間上で最適化することで、サドルポイント問題にSESOPを適用する。

実験結果

リサーチクエスチョン

• RQ1 SESOPは、平滑な凸関数に対して$1/k^2$収束を達成し、二次関数問題ではCGと同等の収束を実現できるか？
• RQ2 Truncated Newtonと組み合わせたSESOPは、標準的なTNと比較して収束速度とロバスト性がどのように向上するか？
• RQ3 勾配降下法の代わりにPCDまたはSSF方向を用いることで、スパース信号回復およびL1正則化問題における性能はどの程度向上するか？
• RQ4 増大ラグランジュ法およびADMMを用いてSESOPを制約付き最適化に拡張できるか。また、収束加速の特性は保持されるか？
• RQ5 SESOPは、信号処理、画像処理、機械学習分野における多様な最適化手法を統合・加速する可能性を有するか？

主な発見

• SESOP-TNは、Truncated Newtonステップ内のCG反復回数に依存せずに収束する。これに対して標準的なTNは早期打ち切り時に性能が劣化する。
• 非線形問題（Exponents-and-Squares、$n=200$）および線形SVM（$n=99,758$）において、1、10、40回のCG反復すべてにおいて、SESOP-TNは標準的なTNを一貫して上回る。
• すべてのテストされたスパース信号近似問題において、SSF-SESOPはFISTAよりも反復回数が少ないため、実用的な収束性が優れていることが示唆される。
• 二次関数問題において、SESOPはCGと同等の収束レートを達成しており、二次関数の場合に等価であることを確認し、CG型加速が可能であることを裏付けている。
• 細かいグリッドのSESOP部分空間に粗いグリッドの解を組み込むことで、マルチグリッドとCG型加速をスムーズに統合でき、収束特性を保持する。
• 増大ラグランジュ法およびADMM法に対するSESOPベースの加速は、分離可能な目的関数と非分離な制約を持つ制約付き問題において有望である。