[論文レビュー] Modular proximal optimization for multidimensional total-variation regularization

Álvaro Barbero, Suvrit Sra|arXiv (Cornell University)|Nov 3, 2014

Sparse and Compressive Sensing Techniques参考文献 70被引用数 56

ひとこと要約

本稿では、多次元Total Variation (TV)正則化のためのモジュラーな近位最適化フレームワークを提案し、テールストリング法の新しい幾何的解析を導入することで、Condatのアルゴリズムとの関連を明らかにした。これにより、1次元のℓ₁-TVに対する高速かつ効率的なソルバが実現され、画像および動画のノイズ除去、デコンボリューション、融合lasso問題において、最先端の性能を達成した。本手法は、スケーラブルでマルチスレッド対応のC++、MATLAB、Pythonライブラリを活用し、効率的かつ再利用可能な1次元-TV近位演算子を統合している。

ABSTRACT

We study \emph{TV regularization}, a widely used technique for eliciting structured sparsity. In particular, we propose efficient algorithms for computing prox-operators for $\ell_p$-norm TV. The most important among these is $\ell_1$-norm TV, for whose prox-operator we present a new geometric analysis which unveils a hitherto unknown connection to taut-string methods. This connection turns out to be remarkably useful as it shows how our geometry guided implementation results in efficient weighted and unweighted 1D-TV solvers, surpassing state-of-the-art methods. Our 1D-TV solvers provide the backbone for building more complex (two or higher-dimensional) TV solvers within a modular proximal optimization approach. We review the literature for an array of methods exploiting this strategy, and illustrate the benefits of our modular design through extensive suite of experiments on (i) image denoising, (ii) image deconvolution, (iii) four variants of fused-lasso, and (iv) video denoising. To underscore our claims and permit easy reproducibility, we provide all the reviewed and our new TV solvers in an easy to use multi-threaded C++, Matlab and Python library.

研究の動機と目的

• 高次元データにおけるスケーラブルな最適化を可能にするために、特にℓ₁-TVを対象とした効率的で再利用可能な近位ソルバを開発すること。
• 画像および動画処理におけるTV正則化の計算ボトルネックを解消するため、高次元ソルバに組み込める高速でモジュラーな1次元-TVソルバを設計すること。
• テールストリング法とCondatのアルゴリズムの間の幾何的関連を確立し、性能向上と直感的な解釈が可能なハイブリッドソルバの設計を可能にすること。
• C++、MATLAB、Pythonで実装された実用的でオープンソースのライブラリを提供し、多様なTVベースの逆問題におけるマルチスレッドでスケーラブルなモジュラー近位最適化を支援すること。
• 画像のノイズ除去、デコンボリューション、融合lasso、動画のノイズ除去など多様な応用において、本フレームワークの有効性を実世界のデータを用いた定量的ベンチマークで示すこと。

提案手法

• 複雑な多次元TV問題を再利用可能な1次元-TV近位部分問題に分解するモジュラー近位最適化フレームワークを提案する。
• テールストリング法の新しい幾何的解釈を、Condatの重みなしTVアルゴリズムの変種に類似していることを示す独自の解析により導入する。
• テールストリング法のロバスト性とCondatのアプローチの効率性を組み合わせたハイブリッドテールストリングアルゴリズムを開発し、重み付きℓ₁-TV近位演算子の高速かつ高精度な計算を実現する。
• 3次元-TV問題におけるParallel Proximal Dykstra (PPD)アルゴリズムのコアサブプロセスとして、線形化されたテールストリングソルバを採用し、3次元-TVのノイズ除去およびデコンボリューションのスケーラブルな解法を実現する。
• 不正確な近位演算子を用いた近位勾配法を採用することで、大規模なTV正則化問題における効率的で実用的な収束性を達成する。
• C++、MATLAB、Pythonで実装されたマルチスレッド対応のオープンソース実装を提供し、すべてのソルバをベンチマーク化し、公平な比較が可能であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 テールストリング法の幾何的再解釈は、既存の最先端手法と比較して、より高速かつロバストな1次元-TV近位ソルバを実現できるか？
• RQ2 テールストリング法とCondatのアルゴリズムの間の関係の本質は何か？ そして、その関係を活用して性能が向上するハイブリッドソルバを設計できるか？
• RQ3 効率的な1次元-TVソルバに基づくモジュラー近位最適化フレームワークは、2次元および3次元-TV正則化のような高次元問題にどのようにスケーリングできるか？
• RQ4 画像および動画のノイズ除去といった実用的応用において、提案されたフレームワークはADMM、Goldfarb-Yin、その他の既存手法と比較して、より速い収束速度と高い信号対ノイズ比（ISNR）を達成できるか？
• RQ5 モジュラー設計は、再実装を伴わずに、融合lassoやデコンボリューションなどの多様な逆問題への再利用と拡張をどの程度可能にするか？

主な発見

• 提案されたハイブリッドテールストリングアルゴリズムは、重み付きおよび重みなしのℓ₁-TV問題の両方において、既存の最先端の1次元-TVソルバを上回る速度と精度を達成した。
• 幾何的解析により、テールストリング法とCondatのアルゴリズムの間の以前未知の関連が明らかになり、新たな直感的な解釈が得られ、より効率的なハイブリッドソルバの設計が可能になった。
• 2次元画像のノイズ除去およびデコンボリューションにおいて、新しい1次元-TVソルバを組み込んだモジュラーフレームワークは、ADMMや他の手法と比較してより速い収束速度と競争力のあるISNR値を達成した。
• 3次元動画のノイズ除去において、新しい1次元-TVソルバを搭載したParallel Proximal Dykstra (PPD)アルゴリズムは、中程度の品質の解に到達するまでの速度が最も速く、初期イテレーションでADMMやGoldfarb-Yinを上回った。
• ADMM（Yangの手法）は、最高の精度を達成し、PPDと同等の解に収束したが、著しく長い実行時間を要したため、リアルタイムまたはリソース制約のある環境ではPPDが好ましい選択肢となった。
• Goldfarb-Yin法は、TVノルムの離散的近似に依存しているため、最適でない解を生成した。これは、連続的で連続的近位アプローチ（PPDやADMM）の優位性を裏付けた。