[논문 리뷰] Image Super-Resolution via RL-CSC: When Residual Learning Meets Convolutional Sparse Coding

Menglei Zhang, Zhou Liu외 1명|arXiv (Cornell University)|2018. 12. 31.

Advanced Image Processing Techniques참고 문헌 36인용 수 5

한 줄 요약

이 논문은 LISTA 알고리즘을 컨volutional, recursive 프레임워크로 확장하여 잔차 학습과 컨volution 알 수 있는 스퍼스 코딩(CSC)을 통합한 새로운 이미지 슈퍼레졸루션 모델인 RL-CSC를 제안한다. 잔차 연결과 반복적 인퍼런스를 활용함으로써, 30층의 깊이를 가진 RL-CSC는 Set5와 같은 벤치마크 데이터셋에서 DRRN(52층)과 MemNet(80층)과 같은 더 깊은 모델들보다 PSNR와 시각적 품질 측면에서 최고 성능을 기록한다.

ABSTRACT

We propose a simple yet effective model for Single Image Super-Resolution (SISR), by combining the merits of Residual Learning and Convolutional Sparse Coding (RL-CSC). Our model is inspired by the Learned Iterative Shrinkage-Threshold Algorithm (LISTA). We extend LISTA to its convolutional version and build the main part of our model by strictly following the convolutional form, which improves the network's interpretability. Specifically, the convolutional sparse codings of input feature maps are learned in a recursive manner, and high-frequency information can be recovered from these CSCs. More importantly, residual learning is applied to alleviate the training difficulty when the network goes deeper. Extensive experiments on benchmark datasets demonstrate the effectiveness of our method. RL-CSC (30 layers) outperforms several recent state-of-the-arts, e.g., DRRN (52 layers) and MemNet (80 layers) in both accuracy and visual qualities. Codes and more results are available at https://github.com/axzml/RL-CSC.

연구 동기 및 목표

• 스퍼스 코딩과 딥 러닝의 원리를 융합하여, 더 해석 가능하고 효율적인 싱글 이미지 슈퍼레졸루션(SISR)을 위한 딥 러닝 모델을 개발한다.
• 기존 모델들이 이론적으로 해석 가능성이 없고 깊은 아키텍처에서 학습 안정성이 떨어지는 점을 해결한다.
• 잔차 학습과 컨volution 알 수 있는 스퍼스 코딩을 재귀적이고 미분 가능한 프레임워크에 통합하여, 깊은 네트워크의 성능 향상과 수렴 성능 향상을 도모한다.
• 기존 딥 네트워크 대비 계산 및 메모리 오버헤드를 줄이면서도 이미지 복원 품질을 유지하거나 향상시킨다.

제안 방법

• 모델는 학습된 반복적 스 hrinkage-Thresholding 알고리즘(LISTA)에서 유도되며, 공간 일관성과 해석 가능성을 유지하기 위해 컨볼루션형, 재귀적 형태로 확장된다.
• 컨볼루션 알 수 있는 스퍼스 코딩(CSC)은 저해상도 특징 맵으로부터 고주파 성분을 반복적으로 학습하며, 각 재귀 단계에서 희박 표현이 정밀해진다.
• 잔차 학습은 현재와 이전 특징 맵 간의 차이를 학습함으로써 구현되며, 추가 파라미터 없이도 깊은 네트워크를 구축할 수 있도록 한다.
• 모든 레이어가 서로 다른 파라미터를 공유하고, 모든 레이어가 미분 가능하며, 백프로파게이션을 통해 엔드 투 엔드로 학습된다.
• 배치 정규화 레이어를 사용하지 않아 메모리 소비와 계산 비용을 줄이며, 학습 안정성을 향상시킨다.
• 재귀 횟수는 고정된 수치(K=15에서 30)로 설정되며, 파라미터 추가 없이 재귀 깊이를 늘일수록 성능 향상이 관찰된다.

실험 결과

연구 질문

• RQ1 잔차 학습과 컨볼루션 알 수 있는 스퍼스 코딩을 융합함으로써, 더 깊고 해석 가능한 SISR 모델를 구축할 수 있는가?
• RQ2 LISTA를 컨볼루션형, 재귀적 프레임워크로 확장하면 이미지 복원 품질과 학습 안정성이 향상되는가?
• RQ3 파라미터를 추가하지 않고 재귀 깊이를 늘림으로써 성능 향상을 달성할 수 있는가?
• RQ4 DRRN 및 MemNet과 같은 최신 SOTA 네트워크와 비교할 때, 제안된 RL-CSC 모델의 성능 및 효율성은 어떠한가?

주요 결과

• 30층의 RL-CSC는 ×3 스케일에서 Set5 데이터셋에서 PSNR 34.02 dB를 기록하며, DRRN(52층)과 MemNet(80층)을 초월한다.
• 664k 파라미터를 가진 VDSR 대비 592k 파라미터를 가진 모델은 ×3 스케일에서 Set5에서 PSNR 33.78 dB를 기록하며, VDSR의 33.66 dB를 뛰어넘는다.
• 잔차 학습 없이 학습을 수행할 경우 수렴하지 못하며, PSNR가 약 6.54 dB에 머무르며, 잔차 연결이 깊은 네트워크 학습을 가능하게 하는 핵심적 역할을 한다는 점을 입증한다.
• 배치 정규화 레이어가 없기 때문에 DRRN 대비 GPU 메모리 소비가 현저히 적다—같은 배치 크기에서 4,955 MB 대비 9,263 MB.
• 재귀 깊이를 15에서 30으로 늘임으로써 ×3 스케일에서 Set5의 PSNR가 33.61 dB에서 34.02 dB로 향상되며, 추가 파라미터 없이 성능 향상을 입증한다.
• Titan Xp GPU에서 288×288 이미지를 0.15초 내로 처리하여 효율적인 추론 성능을 보인다.