[論文レビュー] ICR: Iterative Convex Refinement for Sparse Signal Recovery Using Spike and Slab Priors

Hojjat Seyed Mousavi, Vishal Monga+1 more|arXiv (Cornell University)|Feb 16, 2015

Sparse and Compressive Sensing Techniques参考文献 47被引用数 14

ひとこと要約

本稿では、スパース信号復元のためのスパイクアンドスラブ事前分布を用いて、元の非凸最適化問題の部分最適解に収束する一連の凸部分問題を解くことで、新しいアルゴリズムである反復凸精錬（ICR）を提案する。ICRは、合成的および実世界の画像復元タスクの両方で最先端の性能を達成し、精度と収束性において既存手法を上回っており、特に小スケール問題におけるグローバル解の一致度において顕著な優位性を示す。

ABSTRACT

In this letter, we address sparse signal recovery using spike and slab priors. In particular, we focus on a Bayesian framework where sparsity is enforced on reconstruction coefficients via probabilistic priors. The optimization resulting from spike and slab prior maximization is known to be a hard non-convex problem, and existing solutions involve simplifying assumptions and/or relaxations. We propose an approach called Iterative Convex Refinement (ICR) that aims to solve the aforementioned optimization problem directly allowing for greater generality in the sparse structure. Essentially, ICR solves a sequence of convex optimization problems such that sequence of solutions converges to a sub-optimal solution of the original hard optimization problem. We propose two versions of our algorithm: a.) an unconstrained version, and b.) with a non-negativity constraint on sparse coefficients, which may be required in some real-world problems. Experimental validation is performed on both synthetic data and for a real-world image recovery problem, which illustrates merits of ICR over state of the art alternatives.

研究の動機と目的

• ベイジアンスパース信号復元におけるスパイクアンドスラブ事前分布に起因する困難な非凸最適化問題を解決すること。
• 簡略化仮定や緩和を用いずに、元の非凸問題を直接解く汎用的手法の開発。
• 非負制約を要する実世界問題（例：画像復元）へのスパイクアンドスラブ事前分布の適用を可能にすること。
• 提案された反復的アルゴリズムの収束に関する理論的保証を提供すること。
• 合成データおよび実画像再構成タスクにおいて、ICRが最先端手法を上回る優れた性能を示すことを実証すること。

提案手法

• ICRは、元の非凸問題の部分最適解に次第に近づく一連の凸最適化部分問題を定式化する。
• アルゴリズムは、現在の推定に基づいて反復的に更新される重みを備えた、スパイクアンドスラブ事前分布から導出された重み付きℓ1類似ペナルティを用いる。
• コアとなる更新ステップでは、元の非凸目的関数を近似する補助関数を用いて、各反復で凸最適化問題を解く。
• 2つのバージョンを提案：非制約型と非負制約付き型（実世界応用向け）。
• 本手法は、各部分問題が元の非凸コスト関数を上回る（マジョライズする）ように構築される主要化最小化フレームワークを活用する。
• 理論的分析により、最適コスト関数値の系列が、O(1/n)の減衰率を示す準コーシー列を形成することが示され、収束が保証される。

実験結果

リサーチクエスチョン

• RQ1 スパイクアンドスラブ最適化問題の非凸性に対して、簡略化仮定を用いずに直接かつ緩和なしに解を得ることは可能か？
• RQ2 ICRの性能は、精度と収束性という観点で、最先端のスパース復元手法と比較してどのように異なるか？
• RQ3 非負制約が、実世界の画像再構成タスクにおける復元性能にどの程度向上効果をもたらすか？
• RQ4 小スケール問題において、ICRは他の手法と比較してグローバル最適解にどの程度近づくか？
• RQ5 反復的凸精錬プロセスの収束に関して、どのような理論的保証を提供できるか？

主な発見

• ICRは小スケール問題において、真のスパース信号と最も一致する結果を達成し、他の最先端手法を上回る性能を示した。
• 非制約型ICRは、さまざまなノイズレベル下でも、既存のスパイクアンドスラブベース手法を著しく上回る性能を示した。
• 実世界の画像復元タスクにおいて、ICRは特に細部の保持とアーチファクトの低減に優れた再構成品質を示した。
• ICRの収束は、理論的減衰率O(1/n)よりも実際にははるかに速く、実用的性能の高さを示している。
• 非負制約付きICRの変種は、係数が非負でなければならない画像復元応用において、再構成精度を著しく向上させた。
• 理論的分析により、ICRにおける最適コスト関数値の系列が準コーシー列を形成することが確認され、元の問題の部分最適解への収束が裏付けられた。