[論文レビュー] Non-Local Recurrent Network for Image Restoration

Ding Liu, Bihan Wen+3 more|arXiv (Cornell University)|Jun 7, 2018

Advanced Image Processing Techniques参考文献 51被引用数 268

ひとこと要約

本論文は、非局所自己相似性を画像復元に活用するため、再帰型ニューラルネットワーク（NLRN）に埋め込んだ非局所モジュールを導入し、パラメータ数を抑えつつ最先端の結果を達成し、劣化条件下でも堅牢な性能を示します。

ABSTRACT

Many classic methods have shown non-local self-similarity in natural images to be an effective prior for image restoration. However, it remains unclear and challenging to make use of this intrinsic property via deep networks. In this paper, we propose a non-local recurrent network (NLRN) as the first attempt to incorporate non-local operations into a recurrent neural network (RNN) for image restoration. The main contributions of this work are: (1) Unlike existing methods that measure self-similarity in an isolated manner, the proposed non-local module can be flexibly integrated into existing deep networks for end-to-end training to capture deep feature correlation between each location and its neighborhood. (2) We fully employ the RNN structure for its parameter efficiency and allow deep feature correlation to be propagated along adjacent recurrent states. This new design boosts robustness against inaccurate correlation estimation due to severely degraded images. (3) We show that it is essential to maintain a confined neighborhood for computing deep feature correlation given degraded images. This is in contrast to existing practice that deploys the whole image. Extensive experiments on both image denoising and super-resolution tasks are conducted. Thanks to the recurrent non-local operations and correlation propagation, the proposed NLRN achieves superior results to state-of-the-art methods with much fewer parameters.

研究の動機と目的

• 深層ネットワークにおいて非局所自己相似性を画像復元の明示的な事前知識として用いる動機づけ。
• エンドツーエンドで訓練可能かつ既存のネットワークに組み込める非局所モジュールを提案する。
• パラメータ効率を高め、深層特徴の相関を状態間で伝播させるためにRNNフレームワークを活用する。
• 相関計算を制限された近傍に制限し、状態間の相関伝播を可能にすることで、劣化した入力に対する堅牢性を示す。

提案手法

• Z = diag{delta(X)}^{-1} Phi(X) G(X) を計算する一般的な非局所演算フレームワークを定義する。
• Phi(X) および G(X) を計算するために、学習された線形埋め込みを用いたソフトブロックマッチング非局所モジュールを導入する（式4-6）。
• 既存モデルへの柔軟な挿入を可能にし、エンドツーエンド訓練を可能にするために、非局所モジュールをスキップ接続でラップする。
• パラメータを共有し、隣接する状態間で相関情報を伝播させるために、非局所モジュールを再帰型ニューラルネットワーク内に埋め込む（s^t = f_recurrent(s^{t-1}, s^0)）。
• 3x3 の畳み込みバックボーンを使用し、128 個のフィルタ、バッチ正規化、ReLU 活性化を適用する；復元対象に対して平均二乗誤差損失で学習する。
• 相関の近傍サイズ (q) を制限することで、全画像を用いる場合と比べて堅牢性が向上することを示す。

実験結果

リサーチクエスチョン

• RQ1 非局所演算を画像復元のためにRNNに効果的に統合できるか？
• RQ2 全画像を対象とする非局所性と比較して、相関近傍を制限することは劣化した入力に対する堅牢性を改善するか？
• RQ3 再帰状態間での相関情報伝播は、復元性能と訓練の安定性を向上させるか？
• RQ4 提案手法の NLRN は、ノイズ除去および超解像のタスクにおいて最先端手法とどう性能を比較するか？

主な発見

• 非局所モジュールは深いネットワークへ柔軟に統合でき、画像復元のためにエンドツーエンドで訓練できる。
• 相関計算の近傍を限定して用いることで、劣化した入力に対する堅牢性が向上する。
• 隣接する再帰状態間で特徴の相関を伝播させることは、相関推定と復元性能を向上させる。
• NLRN は、ノイズ除去および超解像のベンチマーク全般で、いくつかの最先端手法と比較してはるかに少ないパラメータで優れた結果を達成する。