[論文レビュー] ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing

Jian Zhang, Bernard Ghanem|arXiv (Cornell University)|Jun 24, 2017

Sparse and Compressive Sensing Techniques参考文献 47被引用数 7

ひとこと要約

本稿では、画像圧縮センシング（CS）再構成のための深層学習アーキテクチャであるISTA-Netを提案する。このネットワークは、反復的硬縮・閾値処理アルゴリズム（ISTA）にインspiredされたもので、非線形なスパース化変換と学習可能なパラメータ（ステップサイズ、閾値、変換）を備えた、学習可能でエンド・ツー・エンド微分可能なISTAのバージョンとして構造化されている。これにより、高速な推論を実現しつつ、従来の最適化ベースおよびネットワークベースの手法を著しく上回る最先端の再構成品質が達成された。

ABSTRACT

With the aim of developing a fast yet accurate algorithm for compressive sensing (CS) reconstruction of natural images, we combine in this paper the merits of two existing categories of CS methods: the structure insights of traditional optimization-based methods and the speed of recent network-based ones. Specifically, we propose a novel structured deep network, dubbed ISTA-Net, which is inspired by the Iterative Shrinkage-Thresholding Algorithm (ISTA) for optimizing a general $\ell_1$ norm CS reconstruction model. To cast ISTA into deep network form, we develop an effective strategy to solve the proximal mapping associated with the sparsity-inducing regularizer using nonlinear transforms. All the parameters in ISTA-Net (\eg nonlinear transforms, shrinkage thresholds, step sizes, etc.) are learned end-to-end, rather than being hand-crafted. Moreover, considering that the residuals of natural images are more compressible, an enhanced version of ISTA-Net in the residual domain, dubbed {ISTA-Net}$^+$, is derived to further improve CS reconstruction. Extensive CS experiments demonstrate that the proposed ISTA-Nets outperform existing state-of-the-art optimization-based and network-based CS methods by large margins, while maintaining fast computational speed. Our source codes are available: extsl{http://jianzhang.tech/projects/ISTA-Net}.

研究の動機と目的

• 従来の最適化ベースのCS手法と最新の深層学習ベースの手法の間のギャップを埋めること。
• 最適化アルゴリズムの解釈性を保ちつつ、学習モデルの高速性と精度を達成する深層ネットワークアーキテクチャを開発すること。
• 手作業による設計を一切行わず、ステップサイズ、閾値、非線形変換を含むすべてのパラメータをエンド・ツー・エンドで学習可能にすること。
• 残差ドメインの変種、すなわちISTA-Net+を用いて画像の残差を明示的にモデル化することで再構成の忠実度を向上させること。
• 非線形スパース化変換におけるプロキシマルマッピング問題に対する一般的で効率的な解決策を提供すること。

提案手法

• ネットワークは固定された段階数で構成され、それぞれがISTAアルゴリズムの1反復に正確に対応しており、解釈性を保証している。
• 固定された線形変換の代わりに、非線形で学習可能なスパース化変換を用い、ReLUベースのアーキテクチャにより非線形性と優れた表現能力を実現している。
• 非線形変換に関連するプロキシマルマッピングを効率的に解くための新規戦略が開発され、エンド・ツー・エンドのバックプロパゲーションが可能になった。
• 各段階における前向き変換と後向き変換は、対称性制約を満たすように設計されており、それらの合成が恒等演算子を近似するようにしている。
• ステップサイズ（ρ）、閾値（θ）、変換パラメータ（T）を含むすべてのパラメータが、バックプロパゲーションにより共同で学習されている。
• ISTA-Net+は、再構成画像の残差にネットワークを適用することでISTA-Netを拡張し、残差のスパース化とスキップ接続により忠実度を向上させている。

実験結果

リサーチクエスチョン

• RQ1 最適化アルゴリズム（例：ISTA）の反復的構造を明示的に再現しつつ、すべてのパラメータをエンド・ツー・エンドで学習可能な深層ネットワークを設計できるか？
• RQ2 変換層にReLUを導入することで非線形性を付与した場合、深層CSネットワークの性能と安定性にどのような影響を与えるか？
• RQ3 ネットワークの各段階にわたるパラメータ共有は、モデルの複雑さをどれほど低減できるか、かつ再構成品質に悪影響を及えないか？
• RQ4 画像そのものではなく、再構成画像の残差をスパース化することで、CS再構成性能が向上するか？
• RQ5 非線形スパース化変換におけるプロキシマルマッピングを解く一般的で効率的な手法を開発できるか？

主な発見

• ISTA-Netは、複数のデータセットおよびCSレートにおいて最先端のPSNR性能を達成し、最適化ベースおよびネットワークベースの両手法を上回った。
• 25%のCSレートにおいて、ISTA-Net+はSet11データセットで38.73 dBのPSNRを達成し、ベースラインのISTA-Netおよび他のSOTA手法を著しく上回った。
• 変換層にReLUを導入することで生じる非線形性は不可欠である：ReLUを除去すると、著しく劣化したかつ不安定な学習性能が観察された。
• 各段階で独立したパラメータを持つ非共有バージョンのISTA-Net+は、25%のCSレートでSet11で32.57 dBの最高性能を達成し、パラメータの柔軟性の利点を示した。
• 変換パラメータ（T）のみを段階間で共有すると、完全共有パラメータよりも0.57 dBの向上を達成し、パラメータ数が37,458個のわずかなモデルで競争力のある性能を発揮した。
• 提案手法は高速な推論速度を維持しており、25%のCSレートにおいて1枚あたり0.1437秒で再構成を完了し、反復的最適化手法に比べて顕著に高速であった。