[論文レビュー] The Douglas-Rachford Algorithm for Weakly Convex Penalties

İlker Bayram, Ivan Selesnick|arXiv (Cornell University)|Nov 12, 2015

Sparse and Compressive Sensing Techniques参考文献 16被引用数 5

ひとこと要約

本稿では、1つの関数が強く凸かつ滑らかで、もう1つの関数が弱く凸である場合に、Douglas-Rachfordアルゴリズムを弱く凸なペナルティに拡張し、収束を証明する。2つのアルゴリズムを導入する：1つは標準的な反復法でステップサイズ条件を要するもの、もう1つは2次項の補正により滑らかさの要件を除去するもので、両者とも数値実験でISTAより収束が速いことを示す。

ABSTRACT

The Douglas-Rachford algorithm is widely used in sparse signal processing for minimizing a sum of two convex functions. In this paper, we consider the case where one of the functions is weakly convex but the other is strongly convex so that the sum is convex. We provide a condition that ensures the convergence of the same Douglas-Rachford iterations, provided that the strongly convex function is smooth. We also present a modified Douglas-Rachford algorithm that does not impose a smoothness condition for the convex function. We then provide a discussion on the convergence speed of the two types of algorithms and demonstrate the discussion with numerical experiments.

研究の動機と目的

• 1つの関数が強く凸かつ滑らかで、もう1つの関数が弱く凸である場合に、標準的なDouglas-Rachfordアルゴリズムの収束を確立すること。
• 強く凸な関数の滑らかさを要件としないように変更したDouglas-Rachfordアルゴリズムを考案すること。
• 数値的設定において、両アルゴリズムの収束速度を比較すること。
• スパース信号復元において、提案されたアルゴリズムがISTAよりも収束速度が速いことを示すこと。

提案手法

• 関数fの勾配のリプシッツ定数をσ、関数gの弱凸性パラメータをρとする。ステップサイズ条件α ≤ 1/√(σρ)の下で、標準的なDouglas-Rachford反復の収束を証明する。
• fとgに2次項を加算・減算することで変換し、それらを凸関数に変換する修正手法を導入し、fの滑らかさを要件としなくても収束を保証する。
• 変換後のパラメータβ₁ = α/(1+αρ)とβ₂ = α/(1−αρ)を用いて、新たな近位作用素K₁とK₂を定義し、変換後の関数の凸性を保証する。
• 新しい作用素K₁とK₂を用いた標準的なDouglas-Rachford反復フレームワークを適用し、fの滑らかさを要件としない新しいアルゴリズムを導出する。
• スパース信号復元に、firms-thresholdingを誘発する非凸ペナルティPτ,ρ(t)を適用する。
• 数値実験において、ISTAをベースラインとして、コスト関数の低減と最適解への距離の観点から収束を比較する。

実験結果

リサーチクエスチョン

• RQ1 1つの関数が弱く凸で、もう1つの関数が強く凸かつ滑らかである場合に、標準的なDouglas-Rachfordアルゴリズムが収束する条件は何か？
• RQ2 強く凸な関数の滑らかさを要件としないように、Douglas-Rachfordアルゴリズムをどのように適合させられるか？
• RQ3 スパース信号復元の実践的状況において、2つの提案アルゴリズムの収束速度はどのように比較できるか？
• RQ4 提案アルゴリズムは、収束速度とコスト低減の観点で、ISTAを上回るか？

主な発見

• ステップサイズ条件α ≤ 1/√(σρ)の下で、標準的なDouglas-Rachfordアルゴリズムは収束し、極限点はh = f + gの最小化点と関連づけられる。
• 2次項補正に基づく修正アルゴリズムにより、fの滑らかさを要件とせず収束を保証でき、非滑らかな強く凸関数への適用範囲が拡張される。
• 数値実験では、両提案アルゴリズムがコスト関数の低減および最適解への距離の観点で、ISTAより収束が速いことが示された。
• fのヘッセ行列が単位行列に近い（σ/sが小さい）場合、滑らかさを要件とする最初のアルゴリズムがより速く収束し、理論的期待と整合的である。
• ノイズや信号の実現値が異なる状況において、2つの提案アルゴリズム間で収束速度に一貫した傾向は観察されなかったが、両者ともISTAを上回った。
• 弱く凸なペナルティPτ,ρ(t)に付随するファーム・スレッショーディング作用素は非拡大でないことが判明し、近位作用素の非自明な振る舞いを示している。