[論文レビュー] An iterative thresholding algorithm for linear inverse problems with a sparsity constraint

Ingrid Daubechies, Michel Defrise+1 more|ArXiv.org|Jul 10, 2003

Numerical methods in inverse problems参考文献 20被引用数 15

ひとこと要約

本論文は、重み付き ℓp ペナルティ（1 ≤ p ≤ 2）を用いてスパarsity制約付き線形逆問題を解くための反復しきい値処理アルゴリズムを提案する。各ステップでLandweber反復とソフトしきい値処理を組み合わせることで、ノルムにおける収束が保証され、特に p < 2 の場合にスパースな解を促進する。これは、スパース構造を持つ大規模問題において、SVDに基づく手法と比較して計算的に効率的な代替手法を提供する。

ABSTRACT

We consider linear inverse problems where the solution is assumed to have a sparse expansion on an arbitrary pre-assigned orthonormal basis. We prove that replacing the usual quadratic regularizing penalties by weighted l^p-penalties on the coefficients of such expansions, with 1 &lt; or = p &lt; or =2, still regularizes the problem. If p &lt; 2, regularized solutions of such l^p-penalized problems will have sparser expansions, with respect to the basis under consideration. To compute the corresponding regularized solutions we propose an iterative algorithm that amounts to a Landweber iteration with thresholding (or nonlinear shrinkage) applied at each iteration step. We prove that this algorithm converges in norm. We also review some potential applications of this method.

研究の動機と目的

• 与えられた正規直交基底において解がスパース表現を持つと仮定される不適切な線形逆問題に対処すること。
• 標準的な2次ペナルティの代わりに、重み付き ℓp ペナルティ（1 ≤ p ≤ 2）を用いてこのような問題を正則化すること。
• 安定的でスパースな解を計算するため、Landweber反復としきい値処理を組み合わせた反復アルゴリズムを開発すること。
• ペナルティ関数および演算子に関する適切な条件下で、アルゴリズムのノルム収束を証明すること。

提案手法

• アルゴリズムは、Landweber反復に基づく反復スキームを用い、各ステップで f^{n+1} = f^n + λ K^* (g - K f^n) により解の推定値を更新する。
• 各Landweber更新の後、正規直交基底における係数に非線形しきい値処理（収縮）操作を適用し、スパース性を促進する。
• しきい値処理は、正則化パラメータおよび現在の係数の大きさに依存するソフトしきい値関数によって定義される。
• 展開係数に重み付き ℓp ペナルティ（1 ≤ p ≤ 2）を適用することでスパース性を強制し、p < 2 の場合によりスパースな解が得られる。
• 収束の証明は、ペナルティ関数の凸性および演算子 K^*K の有界性に依存し、反復列のノルム収束を保証する。
• K^*K がスパースであるか、または高速変換（例：ウェーブレット、FFT）が利用可能な場合、アルゴリズムは計算的に効率的となり、有利な状況では O(N log N) の複雑度を達成する。

実験結果

リサーチクエスチョン

• RQ1 p < 2 の ℓp ペナルティを用いて線形逆問題を正則化しても、解の収束性とスパース性が保証されるか？
• RQ2 Landweber反復としきい値処理の組み合わせは、標準的なTikhonov正則化と比較して、解の安定性とスパース性をどのように向上させるか？
• RQ3 スパース制約付き線形逆問題において、反復しきい値処理アルゴリズムがノルム収束するための条件は何か？
• RQ4 このアルゴリズムの計算複雑度は何か？また、どのような状況で従来のSVDに基づく手法を上回るか？

主な発見

• 任意の 1 ≤ p ≤ 2 に対して、ペナルティ関数および演算子 K に関する弱い条件下でも、アルゴリズムはノルム収束を保証する。
• p < 2 の ℓp ペナルティを用いることで、与えられた正規直交基底における展開が、標準的なTikhonov正則化と比較してよりスパースな解が得られる。
• 演算子 K^*K がスパースであるか、または高速変換（例：ウェーブレット、FFT）が利用可能な場合、アルゴリズムは計算的に効率的となり、1反復あたりのコストが O(N log N) にまで低下する。
• 一般化逆行列 K^† が有界でない場合でも、スパース性促進ペナルティのおかげで、アルゴリズムは安定的かつ収束的である。
• 各反復におけるしきい値処理操作は、効果的にソフト収縮を実行し、基底表現における非ゼロ係数の数が少ない解を好む。
• この手法は、画像再構成や信号処理を含む広範な問題に適用可能であり、真の解が変換領域でスパースであると分かっているか、期待される場合に特に有効である。