[논문 리뷰] Residual Dense Network for Image Super-Resolution

Yulun Zhang, Yapeng Tian외 3명|arXiv (Cornell University)|2018. 02. 24.

Advanced Image Processing Techniques참고 문헌 34인용 수 247

한 줄 요약

이 논문은 원래 저해상도 이미지에서 잔여 밀집 블록을 통해 계층적 특징을 최대한 활용하는 매우 깊은 Residual Dense Network(RDN)을 제안하여, 다중 열화 모델에서 이미지 초해상도(SR) 분야의 최신 성능을 달성한다.

ABSTRACT

A very deep convolutional neural network (CNN) has recently achieved great success for image super-resolution (SR) and offered hierarchical features as well. However, most deep CNN based SR models do not make full use of the hierarchical features from the original low-resolution (LR) images, thereby achieving relatively-low performance. In this paper, we propose a novel residual dense network (RDN) to address this problem in image SR. We fully exploit the hierarchical features from all the convolutional layers. Specifically, we propose residual dense block (RDB) to extract abundant local features via dense connected convolutional layers. RDB further allows direct connections from the state of preceding RDB to all the layers of current RDB, leading to a contiguous memory (CM) mechanism. Local feature fusion in RDB is then used to adaptively learn more effective features from preceding and current local features and stabilizes the training of wider network. After fully obtaining dense local features, we use global feature fusion to jointly and adaptively learn global hierarchical features in a holistic way. Extensive experiments on benchmark datasets with different degradation models show that our RDN achieves favorable performance against state-of-the-art methods.

연구 동기 및 목표

• 원래의 LR 이미지에서 계층적 특징을 활용하여 이미지 SR 향상을 유도한다.
• 연속 메모리와 로컬 피처 융합을 갖춘 새로운 빌딩 블록(RDB)을 제안하여 매우 깊고 넓은 네트워크를 가능하게 한다.
• LR 공간에서 모든 RDB의 다중 수준 특징을 공동으로 융합하는 글로벌 피처 퓨전 프레임워크를 개발한다.
• 다중 열화 모델과 실제 이미지에서의 RDN의 강건성을 입증한다.
• 설계 선택을 정당화하기 위한 구현 세부 사항과 아블레이션 연구를 제공한다.

제안 방법

• dense 연결을 갖춘 잔여 밀집 블록(RDB), 1x1 컨브를 통한 로컬 피처 융합(LFF), 그리고 로컬 잔여 학습(LRL)을 도입하여 연속 메모리(CM) 메커니즘을 형성한다.
• 여러 RDB를 쌓아 얕은 특징 추출, dense feature fusion (DFF) 포함, 글로벌 피처 퓨전(GFF) 및 글로벌 잔여 학습(GRL)과 함께 잔여 Dense 네트워크(RDN)를 구성하고, ESPCN을 이용한 업샘플링 넷(UPNet)을 구성한다.
• LR 공간에서 특징을 추출하고, 이를 전역적으로 융합하여 dense features를 형성한 후 ESPCN과 최종 컨볼루션 계층을 통해 HR로 업샘플링한다.
• L1 손실로 학습하고, 학습에 DIV2K를 사용하며 평가에는 여러 열화 모델(BI, BD, DN) 하에서 표준 SR 벤치마크(Set5, Set14, B100, Urban100, Manga109)을 사용한다.
• 연속 메모리(CM), 로컬 잔여 학습(LRL), 및 글로벌 피처 퓨전(GFF)의 기여도를 평가하기 위한 아블레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 LR 공간의 모든 계층에서의 계층적 특징이 최종 LR 특징만 사용하는 것보다 SR 성능을 향상시키는가?
• RQ2 연속 메모리, 로컬 피처 융합, 그리고 글로벌 피처 융합이 매우 깊은 네트워크에서 학습 안정성 및 SR 정밀도를 시너지 효과로 향상시키는가?
• RQ3 RDN은 서로 다른 열화 모델(BI, BD, DN) 및 실제 이미지에서 어떻게 수행되는가?
• RQ4 네트워크 깊이(D), 블록당 층 수(C), 성장률(G)이 SR 성능에 미치는 영향은 무엇인가?
• RQ5 글로벌 다중 수준 LR 특징 융합이 로컬-만_dense 연결보다 SR에 우수한가?

주요 결과

• RDN은 BI 열화하에서 다수의 데이터셋에서 최첨단 방법들에 비해 평균 PSNR/SSIM이 우수하며, 특히 스케일 ×2에서 두드러진다.
• 아블레이션 결과 CM, LRL, GFF 각각이 성능을 향상시키며, 이 셋을 함께 사용하면 최상의 결과를 낸다.
• 글로벌 피처 퓨전과 글로벌 잔여 학습은 얕은 특징과 깊은 특징의 효과적인 결합을 가능하게 하여 학습 안정성과 SR 품질을 향상시킨다.
• RDN은 Set5, Set14, B100, Urban100, Manga109 전반에서 지속적으로 경쟁 방법을 능가하며, 특히 작은 스케일(×2)에서 두드러진다.
• RDN은 BD (blur-down) 및 DN (noisy-down) 열화에 대한 강건성을 보여주고, 질적 비교에서 더 선명한 가장자리와 보존된 디테일을 생성한다.
• 셀프 앙상블링(RDN+)은 BI 열화 테스트에서 추가적인 SR 향상을 제공한다.
• 알려지지 않은 열화를 가진 실제 이미지에서도 RDN이 여러 baseline들보다 더 선명한 에지와 더 미세한 디테일을 보여준다.