[論文レビュー] Optimal subgradient algorithms with application to large-scale linear inverse problems

Masoud Ahookhosh|arXiv (Cornell University)|Feb 28, 2014

Sparse and Compressive Sensing Techniques参考文献 19被引用数 12

ひとこと要約

本稿では、合成凸目的関数を伴う大規模な線形逆問題に対して最適な部分勾配法（OSGA）を提案する。適応的パラメータ更新と前処理付きの近接関数を活用することで、OSGAは高速な収束を達成し、理論的レートを上回ることも少なくない。数値実験では、とくに悪条件問題において最先端のソルバーよりも優れた性能を示す。

ABSTRACT

This study addresses some algorithms for solving structured unconstrained convex optimiza- tion problems using first-order information where the underlying function includes high-dimensional data. The primary aim is to develop an implementable algorithmic framework for solving problems with multi- term composite objective functions involving linear mappings using the optimal subgradient algorithm, OSGA, proposed by Neumaier in [49]. To this end, we propose some prox-functions for which the cor- responding subproblem of OSGA is solved in a closed form. Considering various inverse problems arising in signal and image processing, machine learning, statistics, we report extensive numerical and compar- isons with several state-of-the-art solvers proposing favourably performance of our algorithm. We also compare with the most widely used optimal first-order methods for some smooth and nonsmooth con- vex problems. Surprisingly, when some Nesterov-type optimal methods originally proposed for smooth problems are adapted for solving nonsmooth problems by simply passing a subgradient instead of the gradient, the results of these subgradient-based algorithms are competitive and totally interesting for solving nonsmooth problems. Finally, the OSGA software package is available.

研究の動機と目的

• 線形逆問題に由来する大規模凸最適化問題を効率的に解くための1次最適化手法の開発。
• 元の最適部分勾配法（OSGA）を拡張し、構造的制約を伴う合成的・非滑らか目的関数を扱えるようにすること。
• グローバルリプシッツ定数を必要としない、収束速度を向上させる適応的パラメータ更新スキームの設計。
• 最小限のメモリおよび計算オーバーヘッドで動作する、非制約凸最適化のための実用的ソフトウェアパッケージの提供。

提案手法

• 複数項のアフィン合成関数を扱えるように一般化された、複合的OSGAフレームワークの提案。
• 局所的およびグローバルな調整パラメータを用いて、α, h, γ, η, u を適応的に調整する新しいパラメータ更新スキーム（アルゴリズム3）の導入。
• 対称正定値前処理行列 $ \mathcal{D} $ を用いた強凸近接関数 $ Q(z) = Q_0 + \frac{\sigma}{2}\|z - z_0\|_{\mathcal{D}}^2 $ を採用し、補助部分問題の閉形式解を可能にする。
• 部分問題の明示的解を $ u = z_0 - E(\gamma,h)^{-1}\sigma^{-1}\mathcal{D}^{-1}h $ を用いて導出。ここで $ E(\gamma,h) $ は h とパラメータの二次形式によって定義される。
• 実用的効率性を考慮し、誤差境界 $ \eta \leq \epsilon $ に基づく停止基準に加え、反復回数制限および関数評価回数制限も導入。
• 勾配を部分勾配に置き換えることで、滑らかでない問題に滑らかな1次最適化手法（例：FISTA）を適応し、ブラックボックスオракルアプローチを構築。

実験結果

リサーチクエスチョン

• RQ1 合成的・非滑らか目的関数と構造的制約を伴う大規模線形逆問題に対して、理論的最適性と実用的効率性を両立させる最適部分勾配法を設計できるか？

主な発見

• OSGAは理論的予測を上回る収束レートを達成することが多く、とくに悪条件問題において顕著な実用的性能を示す。
• 数値実験では、視覚的に正確な信号回復が約15反復で達成されるのに対し、FISTA や NESCS、NES05 は約100反復を要する。
• 前処理付き近接関数 $ Q(z) = Q_0 + \frac{\sigma}{2}\|z - z_0\|_{\mathcal{D}}^2 $ の使用により、補助部分問題の閉形式解が可能となり、計算効率が著しく向上する。
• 勾配を部分勾配に置き換えることで滑らかな1次最適化手法（例：FISTA）を非滑らか問題に適応したが、理論的保証がなくても競争力のある、あるいは優れた結果が得られる。
• OSGAソフトウェアパッケージ（v1.1）はMATLABで公開されており、ユーザー定義問題をサポートし、完全なドキュメンテーションと例題実装を備えている。
• 数値結果から、正則化パラメータが小さい場合に特に、TwIST や SpaRSA、FISTA といった最先端のソルバーよりも計算的に競争力があり、あるいは優れていることが示された。