[論文レビュー] Proximal Splitting Methods in Signal Processing

Patrick L. Combettes, Jean‐Christophe Pesquet|Dec 17, 2009

Sparse and Compressive Sensing Techniques参考文献 79被引用数 127

ひとこと要約

本稿では、信号処理における凸最適化問題を解くための統一的枠組みとして、非微分可能関数を取り扱える近位作用素を用いた近位分割法を提示する。反復的しきい処理やADMMといったよく知られたアルゴリズムが特別なケースとして含まれることを示し、スパース復元、ノイズ除去、再構成問題に対して効率的で並列化可能な解法を可能にする。

ABSTRACT

The proximity operator of a convex function is a natural extension of the notion of a projection operator onto a convex set. This tool, which plays a central role in the analysis and the numerical solution of convex optimization problems, has recently been introduced in the arena of signal processing, where it has become increasingly important. In this paper, we review the basic properties of proximity operators which are relevant to signal processing and present optimization methods based on these operators. These proximal splitting methods are shown to capture and extend several well-known algorithms in a unifying framework. Applications of proximal methods in signal recovery and synthesis are discussed.

研究の動機と目的

• 反復的しきい処理、投影ランドウェーバー法、ADMMといった多様な信号処理アルゴリズムを、共通の近位分割フレームワークに統合すること。
• 近位作用素とその性質について体系的な導入を行い、非微分可能凸最適化問題の解法におけるその役割を強調すること。
• 古典的な射影に基づく手法（例えば、Dykstraのアルゴリズム）を、近位拡張を用いて強凸目的関数に対応可能にするよう拡張すること。
• 線形変換を含む問題に対して、並列的で合成的最適化アルゴリズムを開発し、マルチコアアーキテクチャ上でスケーラブルな解法を可能にすること。
• 近位法が実世界の信号および画像処理タスク（ノイズ除去、ぼかし除去、圧縮センシングなど）に応用可能であることを示すこと。

提案手法

• 凸関数と二次項を含む最小化部分問題に基づいて定義される、凸集合への射影の一般化としての近位作用素を用いる。
• 2つの関数を含む問題に対して、前向き後向き法とDouglas-Rachford法を、基礎的な近位分割スキームとして採用する。
• 複数の関数と線形変換を含む合成問題を解くための、同時方向乗数法（SDMM）を導入する。
• 線形変換を含む合成問題 $ g_i(L_i x) $ を、積空間における鞍点問題に再定式化し、ADMM型手法の適用を可能にする。
• 同時に近位ベクトルと補助変数の計算が可能な、近位アルゴリズムの並列版を導出する。これはマルチコアおよび分散コンピューティングに適している。
• 標準的な条件（制約規格、強凸性など）の下で収束保証を確立し、実用的な場面でも頑健性を確保する。

実験結果

リサーチクエスチョン

• RQ1 近位作用素を体系的に応用することで、既存の信号処理アルゴリズムを統一的かつ一般化的に扱う方法は何か？
• RQ2 スパース信号復元に一般的に見られる非滑らかで非微分可能な目的関数に近位分割法を適用した場合、収束特性はどのように保証されるか？
• RQ3 線形変換を含む合成問題の構造をどのように活用し、効率的で並列化可能な最適化アルゴリズムを設計できるか？
• RQ4 近位法は、Dykstra法のような古典的な射影に基づくアルゴリズムを、強凸目的関数に対応可能にするか？
• RQ5 実用的状況において、近位計算の近似をどの程度許容しても、収束性が損なわれないか、その限界は何か？

主な発見

• 前向き後向き法とDouglas-Rachford法が、一般近位分割フレームワークの特別なケースであることが示され、反復的しきい処理や投影勾配降下法といった手法が統合された。
• SDMMアルゴリズムは、$ \text{minimize } \textstyle\bigsum_{i=1}^m g_i(L_i x) $ の形をした合成問題に対して収束性が保証され、並列化可能な解法を提供する。収束は標準的な制約規格の下で保証される。
• 近位法は、$ \text{TV} $-正則化によるノイズ除去や、圧縮センシングにおける$ \ell_1 $-最小化といった非微分可能目的関数を効率的に解ける。
• フレームワークにより、近位作用素が大規模なアルゴリズム内のサブルーチンとして使用可能となり、計算に近似が生じても、緩い条件下で収束性が保たれる。
• 特にSDMMにおけるアルゴリズムの並列構造のおかげで、現代のマルチコアおよび分散コンピューティングアーキテクチャでの効率的実装が可能である。
• 本稿および関連研究（例：[118], [71]）の数値結果により、ポisson雑音下でのぼかし除去にSDMMが有効であることが確認され、実世界の画像処理問題における実用的価値が示された。