[論文レビュー] Proximal Gradient Algorithms: Applications in Signal Processing

Niccolò Antonello, Lorenzo Stella+2 more|arXiv (Cornell University)|Mar 5, 2018

Sparse and Compressive Sensing Techniques参考文献 67被引用数 18

ひとこと要約

本稿では、大規模で非滑らかかつ非凸な信号処理問題における収束を加速するために、準ニュートン法と前方随伴オラクルを組み合わせた強化された近接勾配（PG）アルゴリズムを提示する。このフレームワークにより、行列を用いない最適化が可能となり、高精度な解を効率的に得られる。また、高水準なモデリング言語とリアルタイムの音声・画像・通信処理アプリケーションを通じて実証されている。

ABSTRACT

Advances in numerical optimization have supported breakthroughs in several areas of signal processing. This paper focuses on the recent enhanced variants of the proximal gradient numerical optimization algorithm, which combine quasi-Newton methods with forward-adjoint oracles to tackle large-scale problems and reduce the computational burden of many applications. These proximal gradient algorithms are here described in an easy-to-understand way, illustrating how they are able to address a wide variety of problems arising in signal processing. A new high-level modeling language is presented which is used to demonstrate the versatility of the presented algorithms in a series of signal processing application examples such as sparse deconvolution, total variation denoising, audio de-clipping and others.

研究の動機と目的

• 大規模で非滑らかかつ非凸な信号処理問題を解く際の古典的最適化手法の限界を克服すること。
• 行列分解に依存せずに近接勾配アルゴリズムの収束速度を向上させ、リアルタイムおよび埋め込み環境への展開を可能にすること。
• 実装の簡素化と信号処理アプリケーションにおける再現可能性を促進する高水準なモデリング言語の開発。
• 従来の方法がスケーラビリティの問題により失敗する問題において、行列フリーで前方随伴オラクルに基づく最適化の有効性を実証すること。
• 近接勾配法の適用範囲を非凸問題へ拡張し、高性能な信号再構成におけるその可能性を示すこと。

提案手法

• 近接勾配アルゴリズムに準ニュートンによるヘッセ行列の近似を統合し、標準的な一次元法を上回る収束速度を達成する。
• 前方随伴オラクルを活用して、大きな行列を格納せずに行列ベクトル積を計算し、行列フリー最適化を実現する。
• ユーザーが直感的な構文（例：`x = Variable(n)` および `@minimize f st cstr`）を用いて最適化問題を定義できる高水準なモデリング言語を実装する。
• 重複しない変数スライスに沿った可分な近接写像を活用することで、複数の制約がある場合でも計算効率を維持する。
• 前回の解を再利用することで、反復的問題におけるウォームスタートをサポートし、逐次最適化タスクの効率を向上させる。
• PANOCアルゴリズムとFPGなどの専用ソルバを組み合わせてパフォーマンスを最適化し、`with FPG()` などの構文によりアルゴリズム選択を公開する。

実験結果

リサーチクエスチョン

• RQ1 準ニュートン加速は、大規模信号処理問題における近接勾配法の収束速度を顕著に向上させることができるか？
• RQ2 前方随伴オラクルを用いた行列フリー計算は、大規模最適化におけるメモリ使用量と計算オーバーヘッドをどの程度低減できるか？
• RQ3 非凸定式化を用いた近接勾配法は、凸緩和法と比較して優れた性能を達成できるか？
• RQ4 高水準なモデリング言語は、複雑な信号処理最適化問題の実装を簡素化しつつ、効率を維持できるか？
• RQ5 ウォームスタートと行列フリー演算の組み合わせが、反復的信号処理タスクに与える実用的影響は何か？

主な発見

• 提案された準ニュートン強化近接勾配アルゴリズムは、標準的一次元法を上回る収束速度を達成し、従来では取り扱いが困難だった問題に対しても高精度な解を得られる。
• 前方随伴オラクルを用いた行列フリー計算により、大きな行列の格納や因子分解を行わず、大規模問題の効率的取り扱いが可能になる。
• 高水準なモデリング言語により、スパースデコンボリューションや全変動ノイズ除去などの複雑な信号処理最適化タスクに対し、コンactで読みやすく再現可能なコードが可能になる。
• 非凸定式化を用いた近接勾配法は、偽の局所最適解が存在しない場合には、アプリケーション固有の性能を向上させられ、計算的にも実行可能である。
• 近接写像およびオラクル計算における内在的な並列性と低メモリ使用量のおかげで、リアルタイムおよび埋め込み環境への展開が可能になる。
• 公開済みのコードおよびソフトウェアツール（例：ProxImaL, ODL, ForBES）により、提案手法の実用性と再利用可能性が、多様な信号処理分野にわたり実証されている。