[논문 리뷰] Downscaled Representation Matters: Improving Image Rescaling with Collaborative Downscaled Images

Bingna Xu, Yong Guo외 3명|arXiv (Cornell University)|2022. 11. 19.

Seismic Imaging and Inversion Techniques인용 수 4

한 줄 요약

이 논문은 재구성 손실에 대한 경사 하강법을 통해 고해상도(HR) 및 저해상도(LR) 표현을 반복적으로 최적화함으로써 이미지 크기 조정 성능을 향상시키는 새로운 방법인 계층적 공동 다운스케일링(HCD)을 제안한다. 경사 하강법을 통해 공동의 LR 예제를 생성함으로써, 업스케일링 지연이 증가하지 않더라도 기준 방법 대비 최대 1.29 dB의 PSNR 향상을 달성한다.

ABSTRACT

Deep networks have achieved great success in image rescaling (IR) task that seeks to learn the optimal downscaled representations, i.e., low-resolution (LR) images, to reconstruct the original high-resolution (HR) images. Compared with super-resolution methods that consider a fixed downscaling scheme, e.g., bicubic, IR often achieves significantly better reconstruction performance thanks to the learned downscaled representations. This highlights the importance of a good downscaled representation in image reconstruction tasks. Existing IR methods mainly learn the downscaled representation by jointly optimizing the downscaling and upscaling models. Unlike them, we seek to improve the downscaled representation through a different and more direct way: optimizing the downscaled image itself instead of the down-/upscaling models. Specifically, we propose a collaborative downscaling scheme that directly generates the collaborative LR examples by descending the gradient w.r.t. the reconstruction loss on them to benefit the IR process. Furthermore, since LR images are downscaled from the corresponding HR images, one can also improve the downscaled representation if we have a better representation in the HR domain. Inspired by this, we propose a Hierarchical Collaborative Downscaling (HCD) method that performs gradient descent in both HR and LR domains to improve the downscaled representations. Extensive experiments show that our HCD significantly improves the reconstruction performance both quantitatively and qualitatively. Moreover, we also highlight the flexibility of our HCD since it can generalize well across diverse IR models.

연구 동기 및 목표

• 모델 파라미터 최적화에만 의존하는 것이 아니라, 다운스케일된 표현을 직접 최적화함으로써 이미지 크기 조정 성능을 향상시키는 것.
• 초해상도에서 고정된 다운스케일링 커널의 한계를 해결하기 위해 더 나은, 적응형 다운스케일된 표현을 학습하는 것.
• 고해상도 및 저해상도 영역에서의 공동 학습을 통해 재구성 품질을 향상시키는 방법을 개발하는 것.
• 업스케일링 단계에서 추가적인 계산 비용이 발생하지 않도록 하여 실용성을 확보하는 것.

제안 방법

• 재구성 손실에 대해 저해상도 표현에서 경사 하강법을 수행함으로써 재구성 손실을 최소화하고, 개선된 다운스케일된 예제를 생성하는 공동 다운스케일링 기법을 제안한다.
• 고해상도 및 저해상도 영역에서 표현을 번갈아가며 최적화하는 계층적 최적화 프레임워크를 도입하여 다운스케일된 출력을 정교화한다.
• 고해상도 및 저해상도 표현 간의 종속성을 모델링하기 위해 이중 최적화 설정을 사용하며, 양 영역에서 반복적인 정밀화를 수행한다.
• 업데이트의 크기와 안정성을 제어하기 위해 편향 예산과 내부 단계 크기를 활용한다.
• 재구성 손실에 대해 경사를 내림함으로써 고주파 영역(예: 윤곽선 및 가장자리)에 집중적으로 초점을 맞춘 공동 예제를 생성한다.
• 원본 이미지에서 시작하여 다중 반복을 통해 고해상도 및 저해상도 표현을 번갈아 갱신함으로써 최적화 문제를 해결한다.

실험 결과

연구 질문

• RQ1 모델 파라미터가 아닌 다운스케일된 표현을 직접 최적화함으로써 더 나은 이미지 재구성 성능를 달성할 수 있는가?
• RQ2 고해상도 및 저해상도 영역에서의 계층적 최적화가 다운스케일된 표현의 품질을 어떻게 향상시키는가?
• RQ3 반복적 정밀화가 최종 재구성 품질과 수렴 행동에 미치는 영향은 무엇인가?
• RQ4 제안된 방법은 업스케일링 지연이 증가하지 않도록 하면서 다양한 이미지 크기 조정 모델에 일반화될 수 있는가?

주요 결과

• HCD는 경사 하강법을 통해 공동의 LR 예제를 생성함으로써 기준 방법인 HCFlow 대비 최대 1.29 dB의 PSNR 향상을 달성한다.
• 계층적 공동 학습 기법은 고해상도 또는 저해상도 예제만 사용하는 경우보다 0.22–0.3 dB 향상시키며, 양 영역 간의 상호보완성이 입증된다.
• 15회 반복 후 성능이 안정화되며, N=15 이후에는 유의미한 성능 향상이 없어져 소수의 단계 내에서 수렴하는 것으로 나타났다.
• 15회 반복에 대해 다운스케일링 지연은 단지 3.97초 증가할 뿐이며, 업스케일링 단계에 추가적인 지연이 발생하지 않는다.
• 시각화 결과에서 편향 값이 눈이나 나비의 날개와 같은 고주파 영역에 집중되어 있음을 확인하여, 미세한 세부 사항을 타겟으로 강화하고 있음을 보여준다.
• IRN 및 HCFlow와 같은 다양한 백본에서 일관된 성능 향상이 관찰되어, 다양한 이미지 크기 조정 모델에 대해 잘 일반화됨을 입증한다.