[論文レビュー] MemNet: A Persistent Memory Network for Image Restoration

Ying Tai, Jian Yang+2 more|arXiv (Cornell University)|Aug 7, 2017

Advanced Image Processing Techniques参考文献 33被引用数 193

ひとこと要約

MemNetは、再帰的な短期記憶とゲート制御による長期記憶を備えた非常に深い永続的メモリブロックを導入し、画像復元における長期依存性に対処します。denoising、super-resolution、and JPEG deblockingで最先端の結果を達成します。

ABSTRACT

Recently, very deep convolutional neural networks (CNNs) have been attracting considerable attention in image restoration. However, as the depth grows, the long-term dependency problem is rarely realized for these very deep models, which results in the prior states/layers having little influence on the subsequent ones. Motivated by the fact that human thoughts have persistency, we propose a very deep persistent memory network (MemNet) that introduces a memory block, consisting of a recursive unit and a gate unit, to explicitly mine persistent memory through an adaptive learning process. The recursive unit learns multi-level representations of the current state under different receptive fields. The representations and the outputs from the previous memory blocks are concatenated and sent to the gate unit, which adaptively controls how much of the previous states should be reserved, and decides how much of the current state should be stored. We apply MemNet to three image restoration tasks, i.e., image denosing, super-resolution and JPEG deblocking. Comprehensive experiments demonstrate the necessity of the MemNet and its unanimous superiority on all three tasks over the state of the arts. Code is available at https://github.com/tyshiwo/MemNet.

研究の動機と目的

• 画像復元のための非常に深いCNNにおける長期依存性に対処する必要性を喚起する。
• 再帰ユニットとゲートユニットを持つメモリブロックの構成を提案し、永続的なメモリを保持する。
• MemNetの有効性を、複数の復元タスク（denoising、super-resolution、JPEG deblocking）で示す。
• 高性能向上のための密な長期接続と多重監督学習の利点を示す。

提案手法

• 異なる受容野に跨る多段階の短期表現を構築する再帰ユニットを含むメモリブロックを導入する。
• 前ブロックからの短期記憶と長期記憶を連結し、ゲートユニット（1x1 conv）を通して適応的にメモリを融合する。
• 密結合アーキテクチャでメモリブロックを積み重ね、非常に深いMemNetを形成し、残差を学習する再構成ネットを続ける。
• 任意で、中間ブロック出力を再構成ネットワークに接続して多重監督学習を適用し、予測を平均化する。
• SGDでパッチ上でMemNetをエンドツーエンドで訓練し、データ拡張を用いて、単一モデルで複数の破損レベルを扱えるようにする。

実験結果

リサーチクエスチョン

• RQ1 永続的なメモリ機構は、画像復元のための非常に深いCNNにおける情報フローと長期依存の処理を改善できるだろうか？
• RQ2 再帰的短期記憶と長期記憶が、1x1 convでゲートされることで、異なるタスクでの復元性能にどのような影響を与えるか？
• RQ3 密な長期接続は、単一モデルでdenoising、super-resolution、JPEG deblockingにおいて最先端の結果を可能にするか？

主な発見

• MemNetは、従来の手法と比較して、image denoising、single-image super-resolution、and JPEG deblockingの分野で優れた結果を達成します。
• 長期的な密結合は、短期結合だけよりも性能を大幅に改善する。
• ゲートユニットは記憶を適応的に重み付けし、初期層から有用な情報を保持し、現在の表現の蓄積を制御します。
• 多重監督付きMemNetは、中間ブロック出力を監督することで性能をさらに向上させます。
• より深いMemNet構成は継続的な利得を生み出し、非常に深い永続的メモリ構造の利点を裏付けます。