[논문 리뷰] MemNet: A Persistent Memory Network for Image Restoration

Ying Tai, Jian Yang외 2명|arXiv (Cornell University)|2017. 08. 07.

Advanced Image Processing Techniques참고 문헌 33인용 수 193

한 줄 요약

MemNet은 재귀적 단기 기억과 게이트 제어된 장기 기억을 갖춘 매우 깊은 지속 메모리 블록을 도입하여 이미지 복원에서 장기 의존성을 해결하고, 노이즈 제거, 초해상도, JPEG 디블로킹에서 최첨단(SOTA) 결과를 달성합니다.

ABSTRACT

Recently, very deep convolutional neural networks (CNNs) have been attracting considerable attention in image restoration. However, as the depth grows, the long-term dependency problem is rarely realized for these very deep models, which results in the prior states/layers having little influence on the subsequent ones. Motivated by the fact that human thoughts have persistency, we propose a very deep persistent memory network (MemNet) that introduces a memory block, consisting of a recursive unit and a gate unit, to explicitly mine persistent memory through an adaptive learning process. The recursive unit learns multi-level representations of the current state under different receptive fields. The representations and the outputs from the previous memory blocks are concatenated and sent to the gate unit, which adaptively controls how much of the previous states should be reserved, and decides how much of the current state should be stored. We apply MemNet to three image restoration tasks, i.e., image denosing, super-resolution and JPEG deblocking. Comprehensive experiments demonstrate the necessity of the MemNet and its unanimous superiority on all three tasks over the state of the arts. Code is available at https://github.com/tyshiwo/MemNet.

연구 동기 및 목표

• Very deep CNNs for image restoration에서의 장기 의존성 해결 필요성에 대한 동기 부여.
• 재귀 단위를 갖춘 기억 블록 아키텍처와 지속 메모리 보존을 위한 게이트 유닛 제안.
• 여러 복원 작업(노이즈 제거, 초해상도, JPEG 디블로킹)에서 MemNet의 효과성 시연.
• 촘촘한 장기 연결성과 다중 감독 학습이 성능 향상에 주는 이점 제시.

제안 방법

• 다양한 수용 필드에서 여러 수준의 단기 표현을 구축하는 재귀 유닛을 포함하는 기억 블록 도입.
• 이전 블록의 단기 메모리와 장기 메모리를 연결하고 게이트 유닛(1x1 conv)을 통과시켜 기억을 적응적으로 융합.
• 메모리 블록을 촘촘하게 연결된 아키텍처로 Stack하여 매우 깊은 MemNet을 형성하고, 잔차를 학습하는 재구성 네트워크를 뒤따르게 함.
• 중간 블록 출력들을 재구성 네트워크에 연결하고 예측치를 평균화하여 다중 감독 학습을 선택적으로 적용.
• 데이터 증가를 이용한 SGD로 패치에서 MemNet을 엔d대학습 시켜 단일 모델로 여러 오염 수준을 처리.

실험 결과

연구 질문

• RQ1 아주 깊은 CNN에서 지속 메모리 메커니즘이 정보 흐름과 장기 의존성 처리를 개선할 수 있는가?
• RQ2 재귀적 단기 기억과 1x1 conv로 게이트된 장기 기억이 서로 다른 작업에서 복원 성능에 어떤 영향을 미치는가?
• RQ3 촘촘한 장기 연결이 단일 모델로 노이즈 제거, 초해상도, JPEG 디블로킹에서 최첨단 결과를 가능하게 하는가?

주요 결과

• MemNet은 이전 방법에 비해 이미지 노이즈 제거, 단일 이미지 초해상도, JPEG 디블로킹에서 우수한 결과를 얻는다.
• 장기 밀집 연결이 단기 연결만으로보다 성능을 크게 개선한다.
• 게이트 유닛은 기억을 적응적으로 가중하여 초기 계층의 유용한 정보를 보존하고 현재 표현의 저장을 제어한다.
• 중간 블록 출력을 재구성 네트워크에 감독시키는 다중 감독 학습은 성능을 더 높인다.
• 더 깊은 MemNet 구성은 지속 메모리 구조의 이점을 확인하며 추가 이득을 제공한다.