[논문 리뷰] Deeply-Recursive Convolutional Network for Image Super-Resolution

Jiwon Kim, Jung Kwon Lee외 1명|arXiv (Cornell University)|2015. 11. 14.

Advanced Image Processing Techniques참고 문헌 22인용 수 49

한 줄 요약

이 논문은 단일 컨볼루션 레이어를 최대 16번의 순환적 통과 동안 재사용함으로써 파rameter 수를 늘리지 않고도 넓은 수신장(41×41)을 확보하는 깊이 있는 순환 컨볼루션 네트워크(DRCN)를 제안한다. 이로 인해 이미지 초해상도에서 최신 기술 수준(SOTA) 성능을 달성할 수 있었으며, 학습을 안정화시키기 위해 순환 감독과 스킵 연결을 도입하여 Set5, Set14, B100, Urban100 등의 벤치마크에서 PSNR 및 SSIM를 크게 향상시켰다.

ABSTRACT

We propose an image super-resolution method (SR) using a deeply-recursive convolutional network (DRCN). Our network has a very deep recursive layer (up to 16 recursions). Increasing recursion depth can improve performance without introducing new parameters for additional convolutions. Albeit advantages, learning a DRCN is very hard with a standard gradient descent method due to exploding/vanishing gradients. To ease the difficulty of training, we propose two extensions: recursive-supervision and skip-connection. Our method outperforms previous methods by a large margin.

연구 동기 및 목표

• 제한된 모델 용량으로 인해 장거리 픽셀 간 의존성을 모델링하는 데 어려움을 해결한다.
• 깊이 있는 네트워크의 파라미터 폭발 및 과적합 문제를 해결하기 위해 순환 가중치 공유를 사용한다.
• 역전파 과정에서 기울기 소실/폭발 문제로 인해 발생하는 깊이 있는 순환 네트워크의 학습 안정성을 향상시킨다.
• Set5, Urban100 등 표준 초해상도 벤치마크에서 여러 순환 수준의 예측을 조합함으로써 성능을 향상시킨다.
• 일부 이전 방법들이 후처리가 필요로 하는 것과 달리, 경계 픽셀을 잘라내지 않고 전체 이미지를 재구성할 수 있도록 한다.

제안 방법

• 단일 공유 컨볼루션 레이어를 최대 16번 반복 적용하는 깊이 있는 순환 컨볼루션 네트워크(DRCN)를 사용하여, 새로운 파라미터를 추가하지 않고도 수신장을 41×41로 확장한다.
• 각 순환 수준에서 생성된 특징 맵을 이용해 중간 해상도 예측을 생성함으로써 순환 감독을 도입하고, 이를 최종 출력을 위해 앙상블한다.
• 입력 저해상도 이미지에서 직접 재구성 레이어로 스킵 연결을 적용하여 고수준의 의미론적 및 공간 정보를 유지한다.
• 세 부분으로 구성된 아키텍처를 사용한다: 임bedding 네트워크(초기 특징 추출), 추론 네트워크(순환 컨볼루션 레이어), 재구성 네트워크(업샘플링 및 디컨볼루션).
• 학습 시 확률적 경사 하강법을 사용하며, 학습률 감소와 가중치 감쇠를 적용한다. 순환 가중치는 자기 연결 외에는 0으로 초기화한다.
• 학습 중에 순환 네트워크를 전개하여 모든 순환 수준을 통해 역전파를 수행함으로써 엔드 투 엔드 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 공유 가중치를 가진 깊이 있는 순환 네트워크가 깊이가 증가하는 표준 깊이 있는 네트워크보다 더 나은 이미지 초해상도 성능을 달성할 수 있는가?
• RQ2 순환 통과 수를 늘일수록 모델이 고주파 성분을 복구하고 PSNR/SSIM를 향상시키는 데 어떤 영향을 미치는가?
• RQ3 기울기 소실/폭발 문제로 인해 어려움을 겪는 순환 네트워크에서 순환 감독이 학습 안정성과 성능 향상에 크게 기여하는가?
• RQ4 입력에서 재구성 레이어로의 스킵 연결이 초해상도와 같은 고상관도 작업에서 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 방법이 도시 및 자연 풍경과 같은 다양한 데이터셋에 일반화되어 있으며, 기존의 최신 기술 수준(SOTA) 방법을 능가할 수 있는가?

주요 결과

• ×3 초해상도에서 Set5 데이터셋의 순환 깊이를 1에서 16으로 늘일수록 PSNR가 일관되게 향상되며, 16회 순환 모델이 가장 높은 성능을 기록한다.
• 다양한 순환 수준에서 유도된 중간 예측의 앙상블은 단일 순환 깊이보다 훨씬 더 나은 결과를 내며, 순환 감독의 효과를 입증한다.
• 제안된 방법은 모든 벤치마크 데이터셋에서 최신 기술 수준(SOTA)의 PSNR 및 SSIM 점수를 달성한다: Set5(×3 시 33.52 dB), Set14(×3 시 30.85 dB), B100(×3 시 30.25 dB), Urban100(×3 시 28.54 dB).
• Titan X GPU에서 288×288 이미지를 약 1초 내에 처리할 수 있어, 깊은 순환에도 불구하고 효율적인 추론이 가능하다.
• 정성적 결과에서는 SRCNN, A+, RFL, SelfEx와 비교해 더 선명한 윤곽선과 더 나은 질감 유지가 가능하며, 특히 복잡한 패턴과 미세한 디테일에서 뛰어난 성능을 보였다.
• 일부 이전 방법들과 달리 경계 픽셀을 잘라내지 않아도 되며, 전체 크기의 출력 생성 능력 덕분에 이는 제안된 방법의 장점이다.