[論文レビュー] Nonlocal Low-Rank Tensor Factor Analysis for Image Restoration

Xinyuan Zhang, Xin Yuan+1 more|arXiv (Cornell University)|Mar 19, 2018

Sparse and Compressive Sensing Techniques参考文献 52被引用数 7

ひとこと要約

本稿では、非局所的低ランクテンソル因子化分析（NLR-TFA）を提案する。これは、画像の類似パッチを3次元テンソルとしてモデル化することで空間的構造を保持し、低ランクテンソル因子化を用いて非局所的自己類似性を活用する、画像復元のための新規手法である。ADMMフレームワークに統合し、計算的に高価な行列逆行列演算を深層畳み込みニューラルネットワーク（CNN）で近似することで、特に超低スラムレート下でも最先端の性能を達成し、2%のスラムレート下で先行手法を上回る8 dB以上のPSNR向上を達成した。

ABSTRACT

Low-rank signal modeling has been widely leveraged to capture non-local correlation in image processing applications. We propose a new method that employs low-rank tensor factor analysis for tensors generated by grouped image patches. The low-rank tensors are fed into the alternative direction multiplier method (ADMM) to further improve image reconstruction. The motivating application is compressive sensing (CS), and a deep convolutional architecture is adopted to approximate the expensive matrix inversion in CS applications. An iterative algorithm based on this low-rank tensor factorization strategy, called NLR-TFA, is presented in detail. Experimental results on noiseless and noisy CS measurements demonstrate the superiority of the proposed approach, especially at low CS sampling rates.

研究の動機と目的

• 従来の低ランク手法における2次元画像パッチのベクトル化による空間的構造の損失を是正する。
• 類似パッチを3次元テンソルにグループ化することで、画像内の非局所的自己類似性を活用し、空間相関を保持する。
• 行列ベースの手法を凌駕する高次元構造的情報を捉えるテンソルベースの低ランク因子化フレームワークを構築する。
• ADMMベースの画像復元における計算効率を向上させるために、内側ループの行列逆行列演算を事前学習済みの深層畳み込みニューラルネットワーク（CNN）に置き換える。
• 特に極めて低いスラムレート（例：2%）およびノイズが混在する状況下で、圧縮センシング画像復元において優れた性能を示すことを実証する。

提案手法

• 各基準パッチの周囲で類似する画像パッチを3次元テンソルにグループ化し、パッチの2次元空間的構造を保持する。
• 各テンソルグループに対して低ランクテンソル因子化（TFA）を適用し、パッチグループ間の非局所的相関を活用し、潜在的特徴を抽出する。
• 交替方向乗数法（ADMM）を用いた制約付き最適化問題として画像復元問題を定式化し、低ランクテンソル制約を組み込む。
• ADMMにおける計算コストの高い行列逆行列ステップを、逆演算演算子を近似するように事前学習済みの深層畳み込みニューラルネットワーク（CNN）に置き換える。
• 評価のため、疑似径方向スラム方式を用いて圧縮センシング（CS）測定値を生成する。
• 学習済みの逆行列ネットワークをADMMフレームワークに統合し、反復的内側ループソルバを必要としない高速かつエンドツーエンドの復元を可能にする。

実験結果

リサーチクエスチョン

• RQ1 パッチの2次元空間的構造をテンソル表現で保持することで、ベクトル化された行列手法と比較して、画像復元のための低ランクモデリングが向上するか？
• RQ2 グループ化された非局所的パッチの低ランクテンソル因子化は、特に低スラムレート下で、より優れた画像復元品質をもたらすか？
• RQ3 深層畳み込みニューラルネットワーク（CNN）は、ADMMベースの画像復元における計算的に高価な行列逆行列ステップを効果的に近似できるか？これにより、精度を損なわず高速な収束が達成できるか？
• RQ4 ノイズが混在する圧縮センシング条件下において、提案手法NLR-TFAは既存の最先端アルゴリズムと比較してどのように性能を発揮するか？
• RQ5 テンソルベースの復元における最適なパッチサイズは何か？また、PSNRと計算コストにどのように影響を与えるか？

主な発見

• 圧縮センシングレート2%の条件下で、パラツの画像に対してNLR-TFAは28.54 dBのPSNRを達成し、D-AMPを8 dB以上上回った。
• 10%スラムレートでノイズが混在する（σ=30）ボートスの画像において、NLR-TFAは30.97 dBのPSNRを達成し、TVAL3（24.02 dB）およびDAMP（24.71 dB）を顕著に上回った。
• 4×4のパッチサイズを用いた場合、フォーマンの画像は10%スラムレートで36.02 dBのPSNRを達成し、より小さなパッチサイズが優れた復元品質をもたらすことを示した。
• 深層CNNベースの逆行列近似により、共役勾配法などの内側ループソルバを必要とする手法と比較して、実行時間が顕著に短縮されたが、高い精度を維持した。
• ノイズに対して高いロバスト性を示した：PSNRはノイズが増加してもゆっくりと低下し、BM3D-CSやNLR-CSと比較して高ノイズレベルに対してより敏感でないことがわかった。
• 全テスト画像およびスラムレートにおいて平均PSNRが最高を記録し、8%スラムレート下で平均28.22 dBを達成した。これはD-AMPの23.69 dBを大きく上回った。