[논문 리뷰] Single Image Super Resolution - When Model Adaptation Matters

Yudong Liang, Radu Timofte외 3명|arXiv (Cornell University)|2017. 03. 31.

Advanced Image Processing Techniques참고 문헌 27인용 수 11

한 줄 요약

이 논문은 저해상도 입력 이미지에서 유도된 내부 사전 지식을 활용한 모델 적응 기법을 적용한 딥 컨volution 신경망(DPN)을 제안하여 단일 이미지 초해상도를 향상시킨다. 사전에 훈련된 모델을 입력 이미지 내의 자기 유사 패치(내부 예제)로 미세조정함으로써, 최신 기법들보다 PSNR 성능을 0.1–0.3 dB 향상시키며, 특히 크거나 반복적인 구조를 가진 이미지에서 뚜렷한 성능 향상을 보인다. 또한 백프로젝션 또는 향상된 예측 기법과 조합할 경우 추가적인 성능 향상이 가능하다.

ABSTRACT

In the recent years impressive advances were made for single image super-resolution. Deep learning is behind a big part of this success. Deep(er) architecture design and external priors modeling are the key ingredients. The internal contents of the low resolution input image is neglected with deep modeling despite the earlier works showing the power of using such internal priors. In this paper we propose a novel deep convolutional neural network carefully designed for robustness and efficiency at both learning and testing. Moreover, we propose a couple of model adaptation strategies to the internal contents of the low resolution input image and analyze their strong points and weaknesses. By trading runtime and using internal priors we achieve 0.1 up to 0.3dB PSNR improvements over best reported results on standard datasets. Our adaptation especially favors images with repetitive structures or under large resolutions. Moreover, it can be combined with other simple techniques, such as back-projection or enhanced prediction, for further improvements.

연구 동기 및 목표

• 기존 딥 러닝 기반 초해상도 기법들이 내부 이미지 구조를 간과하는 한계를 보완하기 위해 입력 이미지 내의 자기 유사성 특성을 활용한다.
• 저해상도 입력 이미지의 특정 콘텐츠에 맞게 사전 훈련된 딥 네트워크를 적응시킴으로써 모델의 강인성과 성능을 향상시킨다.
• 입력 이미지에서 추출한 자기 유사 패치인 내부 사전 지식의 효과성을 조사한다.
• 내부 예제를 활용한 모델 적응 기법이 크거나 반복적인 구조를 가진 이미지에서 특히 효과적임을 입증한다.
• 기존의 백프로젝션 또는 향상된 예측 기법과 내부 사전 지식의 보완성을 탐색하여 추가 성능 향상을 도모한다.

제안 방법

• 음성 특징을 유지하고 기울기 소실/폭주 문제를 완화하기 위해 프로젝션 스킵 연결을 갖춘 새로운 딥 컨volution 신경망(DPN)을 제안한다.
• 공개 데이터셋에서 유도된 외부 예제 쌍(예: 저해상도-고해상도 패치 쌍)을 사용해 DPN을 훈련시켜 저해상도 패치에서 고해상도 패치로의 일반적인 매핑을 학습한다.
• 저해상도 입력 이미지에서 추출한 자기 유사 패치(내부 예제)를 기반으로 사전 훈련된 DPN을 입력 이미지의 특성에 맞게 미세조정한다.
• 재구성 품질을 기반으로 다양한 후보 모델 중 최적의 적응 모델을 선택하는 모델 선택 전략을 사용한다.
• 적응된 모델을 후처리 기법과 조합한다: 반복적 백프로젝션 및 데이터 증강(회전 및 반전)을 통한 향상된 예측.
• 입력 이미지를 변형한 버전(회전/반전)에 적응된 모델을 적용하고, 고해상도 출력을 생성한 후 변형을 복원하고 평균을 내어 일관성과 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 입력 저해상도 이미지 내의 자기 유사성(내부 사전 지식)이 외부 사전 지식을 초월해 딥 러닝 기반 단일 이미지 초해상도 성능을 향상시킬 수 있는가?
• RQ2 내부 예제에 기반한 미세조정을 통한 모델 적응 기법이 다양한 이미지 유형에서 초해상도 성능 향상에 얼마나 효과적인가?
• RQ3 내부 사전 지식 적응의 성능 향상 정도가 이미지 크기나 구조적 반복성(예: 반복 무늬)에 따라 달라지는가?
• RQ4 내부 사전 지식 적응 기법은 기존의 백프로젝션 또는 향상된 예측 기법과 효과적으로 조합될 수 있는가?
• RQ5 내부 사전 지식 적응 기법의 성능 향상 정도가 Set5, Set14, BSD100, Urban100, L20 등의 표준 벤치마크에서 일관되게 나타나는가?

주요 결과

• 표준 데이터셋에서 내부 예제를 활용한 모델 적응 기법은 최고의 보고된 결과보다 PSNR를 0.1–0.3 dB 향상시키며, 향상된 예측과 조합했을 경우 L20에서는 최대 0.40 dB, Urban100에서는 0.39 dB 향상된다.
• 자기 유사성 또는 반복적인 구조가 높은 이미지에서 가장 큰 성능 향상이 관찰되며, 특히 Urban100과 L20에서 기반 DPN 대비 최대 0.39 dB 향상된다.
• 내부 사전 지식 적응과 향상된 예측(E)을 조합할 경우 가장 높은 성능 향상이 나타나며, L20에서는 0.40 dB, Urban100에서는 0.39 dB 향상된다. 이는 강력한 보완 효과를 보여준다.
• 백프로젝션(B)과 향상된 예측(E) 각각이 유의미한 성능 향상을 제공하지만, 내부 적응과 조합할 경우 가장 뚜렷한 성능 향상이 이루어진다.
• 제안된 프로젝션 스킵 연결은 음성 특징을 효과적으로 유지하고 훈련 안정성을 향상시켜 네트워크의 강인성과 표현 능력을 높인다.
• 사전 훈련된 딥 모델이 고정된 아키텍처를 가짐에도 불구하고 콘텐츠 기반 적응을 통해 크게 향상될 수 있음을 입증하며, 기존 모델에 잠재된 표현 잠재력이 여전히 남아 있음을 시사한다.