[논문 리뷰] Residual Dense Network for Image Restoration

Yulun Zhang, Yapeng Tian외 3명|arXiv (Cornell University)|2018. 12. 25.

Advanced Image Processing Techniques참고 문헌 74인용 수 59

한 줄 요약

논문은 저품질 원본 이미지의 계층적 특징을 잔여 밀집 블록(RDB)을 통해 활용하고 지역 및 글로벌 특징 융합으로 다수의 작업에서 우수한 영상 복원을 달성하는 잔여 밀집 네트워크(RDN)를 도입한다.

ABSTRACT

Convolutional neural network has recently achieved great success for image restoration (IR) and also offered hierarchical features. However, most deep CNN based IR models do not make full use of the hierarchical features from the original low-quality images, thereby achieving relatively-low performance. In this paper, we propose a novel residual dense network (RDN) to address this problem in IR. We fully exploit the hierarchical features from all the convolutional layers. Specifically, we propose residual dense block (RDB) to extract abundant local features via densely connected convolutional layers. RDB further allows direct connections from the state of preceding RDB to all the layers of current RDB, leading to a contiguous memory mechanism. To adaptively learn more effective features from preceding and current local features and stabilize the training of wider network, we proposed local feature fusion in RDB. After fully obtaining dense local features, we use global feature fusion to jointly and adaptively learn global hierarchical features in a holistic way. We demonstrate the effectiveness of RDN with several representative IR applications, single image super-resolution, Gaussian image denoising, image compression artifact reduction, and image deblurring. Experiments on benchmark and real-world datasets show that our RDN achieves favorable performance against state-of-the-art methods for each IR task quantitatively and visually.

연구 동기 및 목표

• 원본 저화질 영상으로부터의 계층적 특징을 영상 복원에 더 잘 활용하도록 동기를 부여한다.
• 모든 컨벌루션 층의 특징을 활용할 수 있는 단일 네트워크(RDN)를 제안하여 다중 IR 작업을 다룬다.
• 넓고 깊은 네트워크의 학습을 안정화하기 위해 연속 메모리, 지역 특징 융합, 글로벌 특징 융합을 갖춘 새로운 빌딩 블록(RDB)을 개발한다.
• 영상 초해상화, 노이즈 제거, 압축 아티팩트 저감, 디블러링 등의 작업에서 RDN의 효과를 입증한다.
• 광범위한 구성요소 비교 및 기존 최첨단 방법과의 비교를 제공한다.

제안 방법

• RDB를 도입하여 Dense 연결과 지역 잔여 학습 및 연속 메모리 메커니즘을 결합한다.
• 이전 RDB 상태와 현재 블록 특징을 1x1 컨볼루션으로 적응적으로 융합하는 LFF를 사용한다.
• LR 공간의 모든 RDB로부터 계층적 특징을 융합한 뒤 전역 잔여 학습을 수행하기 위해 GFF를 적용한다.
• GFF와 잔여 학습으로 LR 공간에서 깊은 밀집 특징을 생성한 후 ESPCN으로 SR을 위해 업스케일링하는 DFF를 수행한다.
• DN, CAR, Deblurring의 경우 업스케일 모듈을 제거하고 LR에서 HQ로 매핑하는 잔여 학습을 사용한다.
• 구현 세부사항: 3x3 컨볼루션, 64채널 특징 맵, 확장률 제어 설계로 넓고 깊은 네트워크를 가능하게 한다.

실험 결과

연구 질문

• RQ1 저품질 이미지의 모든 컨볼루션 층에서 생성된 계층적 특징을 효과적으로 융합하여 다중 작업에서 복원을 개선할 수 있는가?
• RQ2 연속 메모리, 지역 특징 융합, 글로벌 특징 융합 같은 새로운 구성요소가 불안정 없이 더 넓고 깊은 네트워크의 학습을 가능하게 하는가?
• RQ3 RDN은 SR, 노이즈 제거, 압축 아티팩트 감소, 디블러링에서 최첨단 방법과 비교하여 어떻게 수행하는가?
• RQ4 네트워크 깊이(D), 블록당 층 수(C), 성장률(G)이 복원 성능에 어떤 영향을 미치는가?

주요 결과

• RDN은 여러 IR 작업에서 최첨단 방법에 비해 우수한 성능을 보여준다.
• 행태 연구에서 연속 메모리(CM), 지역 잔여 학습(LRL), 글로벌 특징 융합(GFF)이 각각 학습 안정성 및 성능을 향상시키며, 이들의 결합 사용이 최상의 결과를 제공한다.
• RDN은 다양한 IR 작업에 맞춘 유연한 구조로 구성될 수 있으며, 더 넓고 깊은 구성은 계층적 특징 활용을 더 잘 한다.
• 경쟁 방법과 비교했을 때, RDN은 표준 벤치마크에서 PSNR/SSIM 이득이 경쟁력 있으며 파라미터 수와 속도의 균형이 우수하다.
• 아키텍처는 원래 LR 영상의 계층적 특징을 효과적으로 보존하고 활용하여 정량적 지표와 시각적 품질을 모두 향상시킨다.