[論文レビュー] Theoretical Linear Convergence of Unfolded ISTA and its Practical Weights and Thresholds

Xiaohan Chen, Jialin Liu+2 more|arXiv (Cornell University)|Aug 29, 2018

Optical Systems and Laser Technology被引用数 152

ひとこと要約

この論文は partial weight coupling の下で展開 ISTA（LISTA）の線形収束を証明し、収束を高めるためのサポート選択技術を導入し、シミュレーションと自然画像 CS 実験で理論を検証します。

ABSTRACT

In recent years, unfolding iterative algorithms as neural networks has become an empirical success in solving sparse recovery problems. However, its theoretical understanding is still immature, which prevents us from fully utilizing the power of neural networks. In this work, we study unfolded ISTA (Iterative Shrinkage Thresholding Algorithm) for sparse signal recovery. We introduce a weight structure that is necessary for asymptotic convergence to the true sparse signal. With this structure, unfolded ISTA can attain a linear convergence, which is better than the sublinear convergence of ISTA/FISTA in general cases. Furthermore, we propose to incorporate thresholding in the network to perform support selection, which is easy to implement and able to boost the convergence rate both theoretically and empirically. Extensive simulations, including sparse vector recovery and a compressive sensing experiment on real image data, corroborate our theoretical results and demonstrate their practical usefulness. We have made our codes publicly available: https://github.com/xchen-tamu/linear-lista-cpss.

研究の動機と目的

• LISTA を訓練可能なネットワーク（LISTA）へ展開して sparse recovery の改善を動機づける。
• LISTA の重みの構造条件を特定し、真の疎信号への線形収束を保証する。
• 収束速度と復元精度を向上させる実用的なサポート選択機構を提案する。
• 提案する LISTA 変種がノイズあり・なしの設定でベースラインを上回ることを理論的にも実証的にも示す。

提案手法

• 部分的な重み結合構造 W2 ≈ I − W1A を導入し、収束に対して漸近的に必要であることを示す（定理1）。
• 結合重みを持つ簡略化された LISTA 更新を導出： x^{k+1} = η_{θ^k}(x^k + W^{k T}(b − A x^k))。
• 重み結合付き LISTA-CP を提案し、ノイズレスの場合に線形収束を証明する（定理2）。
• サポート選択（SS）機構で LISTA を強化し、上位マグニチュードのエントリを閾値処理から保護することで LISTA-SS および LISTA-CPSS を導く（定理3）。
• ノイズレス・ノイズありの設定で線形収束の境界を提供し、SS を用いた場合に緩い仮定の下で改善された収束速度を示す。

実験結果

リサーチクエスチョン

• RQ1 学習可能なパラメータ下で LISTA が真の疎信号へ線形収束を保証できるか。
• RQ2 標準 ISTA/FISTA よりも速い収束を可能にする重み構造・パラメータ化は何か。
• RQ3 閾値ベースのサポート選択を組み込むと収束速度と復元精度は向上するか。
• RQ4 提案された LISTA 変種はノイズなし・ノイズありの領域、および悪条件の辞書下でどのように性能を発揮するか。

主な発見

Algorithm	20%	30%	40%	50%	60%
TVAL3	25.37	28.39	29.76	31.51	33.16
Recon-Net	27.18	29.11	30.49	31.39	32.44
LIHT	25.83	27.83	29.93	31.73	34.00
LISTA	28.17	30.43	32.75	34.26	35.99
LISTA-CPSS	28.25	30.54	32.87	34.60	36.39

• LISTA-2（部分的な重み結合を伴う場合）は収束の必要条件として W2 → I − W1A および θ^k → 0 が成立する（定理1）。
• 重み結合により LISTA は二パラメータの訓練可能な形に簡略化され、経験的にベースライン LISTA の性能と同等以上を示す（ LISTA-CP の結果）。
• 学習可能なパラメータの列が存在し、初回の反復から線形収束を生み出すことができる（定理2）。
• 学習可能な閾値パス（適応的 λ 的挙動）を用いた閾値処理は、シミュレーションにおいて ISTA より収束と精度を改善する。
• 閾値付きサポート選択（LISTA-CPSS）は、特に層深さが増すにつれて LISTA-CP よりも高速な収束率と低い定常誤差を達成する（定理3）。
• ill-conditioned A の場合、LISTA-CP/CPSS はさまざまな条件数において LISTA および LAMP より優れた性能を維持する。