[논문 리뷰] Image Super-Resolution via Dual-State Recurrent Networks

Wei Han, Shiyu Chang외 4명|arXiv (Cornell University)|2018. 05. 07.

Advanced Image Processing Techniques참고 문헌 39인용 수 21

한 줄 요약

이 논문은 이중상태 순환망(DSRN)을 제안하여 이중방향 순환 피드백을 통해 저해상도(LR) 및 고해상도(HR) 특징을 동시에 모델링함으로써 이미지 초해상도를 향상시킨다. HR에서 LR로 지연된 피드백을 갖는 이중상태 RNN을 전개함으로써 DSRN은 낮은 메모리 및 파라미터 사용량으로도 최신 기술 수준의 성능을 달성하며, DIV2K 벤치마크에서 EDSR+와 같은 기법들을 능가한다.

ABSTRACT

Advances in image super-resolution (SR) have recently benefited significantly from rapid developments in deep neural networks. Inspired by these recent discoveries, we note that many state-of-the-art deep SR architectures can be reformulated as a single-state recurrent neural network (RNN) with finite unfoldings. In this paper, we explore new structures for SR based on this compact RNN view, leading us to a dual-state design, the Dual-State Recurrent Network (DSRN). Compared to its single state counterparts that operate at a fixed spatial resolution, DSRN exploits both low-resolution (LR) and high-resolution (HR) signals jointly. Recurrent signals are exchanged between these states in both directions (both LR to HR and HR to LR) via delayed feedback. Extensive quantitative and qualitative evaluations on benchmark datasets and on a recent challenge demonstrate that the proposed DSRN performs favorably against state-of-the-art algorithms in terms of both memory consumption and predictive accuracy.

연구 동기 및 목표

• 파라미터 공유와 순환 구조를 활용하여 깊은 초해상도 네트워크의 비효율성과 과적합 문제를 해결하고자 한다.
• 저해상도 및 고해상도 특징 공간에서 동시에 작동하는 새로운 이중상태 순환 아키텍처를 탐색하고자 한다.
• 지연된 피드백을 통해 LR 및 HR 상태 간 이중 방향 정보 흐름을 가능하게 하여 특징 학습을 향상시키고자 한다.
• 특히 자원 제약 조건에서의 구현을 고려하여 모델 크기와 메모리 소비를 줄임과 동시에 높은 성능을 달성하고자 한다.

제안 방법

• DSRN은 이중상태 순환망의 유한한 전개로 이미지 초해상도 문제를 모델링하며, 한 상태는 저해상도에서, 다른 상태는 고해상도에서 작동한다.
• 네트워크는 디컨볼루션 연결을 통해 LR 상태의 특징을 HR 상태로 전달하여 전방향 정보 흐름을 가능하게 한다.
• HR 상태에서 LR 상태로의 지연 피드백 메커니즘을 도입하여 이중방향 특징 정련을 가능하게 한다.
• 모델은 전개 단계 간에 가중치 공유를 적용하여 파라미터를 감소시키고 일반화 성능을 향상시킨다.
• 최종 예측은 모든 전개 단계에서의 특징에 대한 가중 평균으로 구성되어 정확도를 향상시킨다.
• 표준 최적화를 사용하여 엔드 투 엔드로 학습되며, 평가 지표로는 PSNR, SSIM 및 IFC를 사용한다.

실험 결과

연구 질문

• RQ1 이중방향 피드백을 갖는 이중상태 순환망은 단일상태 RNN에 비해 이미지 초해상도 성능을 향상시킬 수 있는가?
• RQ2 고해상도 상태에서 저해상도 상태로의 지연 피드백을 통합할 경우 특징 학습과 복원 품질에 어떤 영향을 미치는가?
• RQ3 이중상태 설계는 초해상도 네트워크에서 파라미터 효율성과 메모리 효율성을 어느 정도 향상시키는가?
• RQ4 제안된 DSRN은 벤치마크 데이터셋에서 최신 기술 수준의 방법들보다 적은 파라미터로 경쟁 가능한 성능을 달성하는가?

주요 결과

• NTIRE SR 2017 챌린지에서 DSRN은 모든 스케일 팩터에서 PSNR 및 SSIM 측면에서 EDSR+를 포함한 모든 다른 방법들을 능가한다.
• Set14 데이터셋에서 91장의 훈련 이미지만으로도 DSRN은 VDSR, DRRN 및 DRCN과 같은 기법들을 능가하는 경쟁력 있는 결과를 달성한다.
• DIV2K 데이터셋에서 ×3 확대 비율에서 DSRN은 PSNR 34.52 dB를 기록하며, EDSR+와 동일한 성능을 달성하면서도 더 적은 파라미터를 사용한다.
• 제거 실험 결과 이중상태 설계와 지연 피드백이 성능 향상에 크게 기여하는 것으로 확인되었으며, 피드백 자체만으로도 모든 스케일에서 일관된 성능 향상이 이루어졌다.
• 파라미터 대 PSNR 비교에서 DSRN은 모델 크기와 PSNR 사이에 유리한 트레이드오프를 보이며, NVIDIA Titan X에서 이미지당 추론 시간이 0.4초임을 확인했다.
• 시각적 결과에서는 DSRN이 경쟁 기법들에 비해 더 선명한 질감과 더 적은 잡음 및 기하학적 왜곡을 생성함을 확인했으며, 특히 고주파 성분 복원에서 뛰어난 성능을 보였다.