[논문 리뷰] Closed-loop Matters: Dual Regression Networks for Single Image Super-Resolution

Yong Guo, Jian Chen외 6명|arXiv (Cornell University)|2020. 03. 16.

Advanced Image Processing Techniques참고 문헌 51인용 수 32

한 줄 요약

논문은 단일 이미지 초해상도(SR)를 위한 Dual Regression Networks(DRN)을 제안하고, LR에서 HR을 재구성하여 폐회로를 형성하는 이중 회귀 제약을 도입하여 더 나은 SR 및 비쌍(real-world) 데이터에 대한 적응성을 가능하게 한다.

ABSTRACT

Deep neural networks have exhibited promising performance in image super-resolution (SR) by learning a nonlinear mapping function from low-resolution (LR) images to high-resolution (HR) images. However, there are two underlying limitations to existing SR methods. First, learning the mapping function from LR to HR images is typically an ill-posed problem, because there exist infinite HR images that can be downsampled to the same LR image. As a result, the space of the possible functions can be extremely large, which makes it hard to find a good solution. Second, the paired LR-HR data may be unavailable in real-world applications and the underlying degradation method is often unknown. For such a more general case, existing SR models often incur the adaptation problem and yield poor performance. To address the above issues, we propose a dual regression scheme by introducing an additional constraint on LR data to reduce the space of the possible functions. Specifically, besides the mapping from LR to HR images, we learn an additional dual regression mapping estimates the down-sampling kernel and reconstruct LR images, which forms a closed-loop to provide additional supervision. More critically, since the dual regression process does not depend on HR images, we can directly learn from LR images. In this sense, we can easily adapt SR models to real-world data, e.g., raw video frames from YouTube. Extensive experiments with paired training data and unpaired real-world data demonstrate our superiority over existing methods.

연구 동기 및 목표

• SR를 무한히 많은 가능한 LR→HR 매핑을 갖는 ill-posed 문제로 동기 부여한다.
• dual (LR reconstruction) 제약을 통해 SR 매핑의 함수 공간을 축소한다.
• HR counterparts 없이 비쌍(real-world LR) 데이터로부터 학습할 수 있도록 한다.
• 쌍으로 된 합성 데이터와 비쌍 real-world 데이터를 결합하는 학습 프레임워크를 제공한다.

제안 방법

• 폐루를 형성하는 primal (LR→HR) 및 dual (HR→LR) 회귀 작업을 도입한다.
• SR 재구성을 위한 RCAB 블록을 갖춘 U-Net 기반의 프라이멀 네트워크를 사용한다.
• HR→LR 재구성으로 다운샘플링을 학습하는 경량 듀얼 네트워크를 구현한다.
• 프라이멀 SR 손실과 가중치가 부여된 이중 재구성 손실(lambda)을 함께 최적화한다.
• 쌍으로 된 합성 데이터와 실제 비쌍 데이터를 혼합하는 적응 알고리즘을 통해 비쌍 데이터로 확장한다.
• Rademacher 복잡도에 기반한 이론적 일반화 분석을 제공한다.

실험 결과

연구 질문

• RQ1 이중 회귀 제약이 LR→HR 매핑 공간을 축소하여 SR 성능을 향상시킬 수 있는가?
• RQ2 LR 재구성 매핑을 학습하는 것이 비쌍 real-world LR 데이터에 대한 효과적인 적응을 가능하게 하는가?
• RQ3 DRN은 쌍 SR 벤치마크와 비쌍 real-world 데이터 적응에서 어떻게 성능을 보이나?
• RQ4 이중 손실 가중치 lambda와 데이터 비율 rho가 성능에 미치는 영향은 무엇인가?
• RQ5 DRN 모델이 전통적인 감독 하의 SR 대비 이론적 일반화 이점을 제공하는가?

주요 결과

• Dual regression으로 DRN은 쌍 데이터에서 여러 최첨단 baselines보다 더 선명하고 정확한 SR 결과를 낳으며, 특히 8× SR에서 그렇다.
• 이중 회귀 제약은 함수 공간을 축소하고 SR 재구성 품질을 향상시킨다.
• DRN은 비쌍 LR 데이터에 대해 실제 세계 적응이 가능하며, CycleGAN 기반 방법 및 다른 기준선들보다 적응 시 더 우수한 결과를 보인다.
• 적응 알고리즘은 비쌍 실제 데이터와 쌍 합성 데이터를 혼합하여 효과적으로 활용하며, 비쌍 데이터 비율(rho)의 권장값은 약 30%이다.
• 이론적 일반화 경계는 이중 회귀 스킴이 전통적인 감독 SR보다 더 작은 경계를 가지며 충분한 데이터와 모델 용량 하에서 일반화에 더 나은 것이 가능함을 시사한다.