[논문 리뷰] Unsupervised Degradation Learning for Single Image Super-Resolution

Tianyu Zhao, Wenqi Ren외 3명|arXiv (Cornell University)|2018. 12. 11.

Advanced Image Processing Techniques참고 문헌 29인용 수 31

한 줄 요약

이 논문은 쌍체의 합성 저해상도-고해상도 데이터가 필요 없이, 비지도 학습 기반의 단일 이미지 초해상도 복원(SISR)을 위한 열악한 품질 학습 프레임워크를 제안한다. 이중 사이클 일致성 손실과 생성적 적대 신경망을 활용하여, 실제 고해상도 입력에서 현실적인 저해상도 이미지를 생성하고, 실제 저해상도 입력에서 고해상도 이미지를 복원함으로써, 실제 이미지에서 최신 기술 성능을 달성하며 가장 뛰어난 에지 선명도와 노이즈에 대한 강건성을 확보한다.

ABSTRACT

Deep Convolution Neural Networks (CNN) have achieved significant performance on single image super-resolution (SR) recently. However, existing CNN-based methods use artificially synthetic low-resolution (LR) and high-resolution (HR) image pairs to train networks, which cannot handle real-world cases since the degradation from HR to LR is much more complex than manually designed. To solve this problem, we propose a real-world LR images guided bi-cycle network for single image super-resolution, in which the bidirectional structural consistency is exploited to train both the degradation and SR reconstruction networks in an unsupervised way. Specifically, we propose a degradation network to model the real-world degradation process from HR to LR via generative adversarial networks, and these generated realistic LR images paired with real-world HR images are exploited for training the SR reconstruction network, forming the first cycle. Then in the second reverse cycle, consistency of real-world LR images are exploited to further stabilize the training of SR reconstruction and degradation networks. Extensive experiments on both synthetic and real-world images demonstrate that the proposed algorithm performs favorably against state-of-the-art single image SR methods.

연구 동기 및 목표

• 학습에 사용되는 합성 저해상도 이미지와 테스트 시의 실제 저해상도 이미지 사이의 도메인 갭을 해결하기 위해.
• 실제 고해상도 이미지에서 직접 품질 열악화 패턴을 학습함으로써 쌍체의 합성 저해상도-고해상도 이미지 데이터셋이 필요 없도록 하기 위해.
• 간단한 리샘플링으로는 포착되지 않는 복잡한 실제 품질 열악화(노이즈, 블러 등)에 대한 강건성을 향상시키기 위해.
• 품질 열악화 및 복원 네트워크 간의 구조 일치성을 강제하는 이중 사이클 일치성 손실을 통해 학습을 안정화시키기 위해.

제안 방법

• 생성적 적대 신경망(GAN) 기반의 품질 열악화 네트워크를 도입하여, 이중 비보간 또는 최근접 이웃 리샘플링에 의존하지 않고도 고해상도 입력에서 현실적인 저해상도 이미지를 합성하는 데 학습한다.
• 이중 사이클 아키텍처를 활용: 첫 번째 사이클은 품질 열악화 네트워크를 통해 고해상도에서 저해상도를 생성하고, 그 저해상도 이미지를 다시 복원하여 고해상도를 재구성한다. 두 번째 사이클은 실제 저해상도 이미지를 입력으로 받아 고해상도로 복원하고, 다시 품질 열악화하여 일관성을 강제한다.
• 품질 열악화 네트워크 학습 중에 생성된 저해상도 이미지와 해당 고해상도 이미지 간의 구조 유사성을 유지하기 위해 구조적 인지 손실을 적용한다.
• 생성된 저해상도 이미지의 현실성 향상을 위해 품질 열악화 판별자에 기반한 적대적 손실을 적용한다.
• 실제 저해상도 입력에서 복원된 고해상도 이미지가 품질 열악화 후 원래 고해상도 이미지와 일치하도록 보장함으로써 학습 안정성을 확보하기 위해 사이클 일치성 손실을 활용한다.
• 실제 저해상도 이미지와 생성된 현실적인 저해상도 이미지를 모두 활용하여 복원 네트워크를 학습함으로써, 실제 품질 열악화에 대한 비지도 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 쌍체의 합성 저해상도-고해상도 데이터가 없이도 깊이 학습 모델이 실제 고해상도 이미지에서 현실적인 품질 열악화 패턴을 학습할 수 있는가?
• RQ2 품질 열악화 및 복원 네트워크 간의 사이클 일치성이 실제 초해상도 복원 성능 향상에 어떻게 기여하는가?
• RQ3 비지도 품질 열악화 학습이 합성 데이터로 학습된 방법에 비해 실제 저해상도 이미지에 대한 일반화 능력을 향상시키는가?
• RQ4 제안된 방법은 실제 이미지에서 다양한 수준의 노이즈와 블러에 대해 얼마나 강건한가?

주요 결과

• 제안된 DNSR 방법은 실제 이미지에서 최신 기술 성능을 달성하며, SRMD, DBPN, ESRGAN 등의 방법보다 정량적 지표와 시각적 품질 측면에서 모두 뛰어나며, 특히 날카운 에지와 미세한 질감을 복원하는 데 뛰어난 성능을 보인다.
• 절단 실험 결과에서 품질 열악화 판별자나 사이클 일치성 손실을 제거할 경우 성능이 크게 떨어지며, 이는 둘 다 안정적이고 현실적인 학습을 위해 필수적임을 입증한다.
• 이 방법은 가우시안 노이즈에 대해 뛰어난 강건성을 보이며, 노이즈 수준이 7%에 이르는 상황에서도 높은 성능을 유지하는 반면, ESRGAN은 동일 조건에서 성능이著격히 떨어진다.
• 모델은 경쟁적인 추론 속도를 확보하여, PyTorch를 사용해 DIV2K 데이터셋에서 1장당 0.645초의 실행 시간을 기록하며 다른 최신 기술 방법들과 유사한 성능을 보인다.
• 실제 이미지(예: '0879' 및 '0882')에 대한 시각적 결과에서, DNSR은 어떤 쌍체 학습 데이터 없이도 기준선 대비 더 날카운 에지와 더 현실적인 색상 재현을 구현한다.