[논문 리뷰] Approaching the Limit of Image Rescaling via Flow Guidance

Shang Li, Guixuan Zhang외 4명|arXiv (Cornell University)|2021. 11. 09.

Advanced Image Processing Techniques참고 문헌 36인용 수 5

한 줄 요약

이 논문은 이미지 재스케일링에서 이차적 낮은 해상도(LR) 가이던스의 제약을 제거하기 위해 역행성 플로우 가이던스 모듈(FGM)을 도입한 플로우 가이던스 재스케일링 네트워크(FGRN)를 제안한다. FGM은 저해상도 표현과 시각적으로 타당한 LR 이미지 간의 손실 없는 변환을 가능하게 하여, 최적의 고해상도(HR) 재구성에 적합한 종단간(end-to-end) 동시 최적화를 허용한다. 이 방법은 더 적은 파라미터로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Image downscaling and upscaling are two basic rescaling operations. Once the image is downscaled, it is difficult to be reconstructed via upscaling due to the loss of information. To make these two processes more compatible and improve the reconstruction performance, some efforts model them as a joint encoding-decoding task, with the constraint that the downscaled (i.e. encoded) low-resolution (LR) image must preserve the original visual appearance. To implement this constraint, most methods guide the downscaling module by supervising it with the bicubically downscaled LR version of the original high-resolution (HR) image. However, this bicubic LR guidance may be suboptimal for the subsequent upscaling (i.e. decoding) and restrict the final reconstruction performance. In this paper, instead of directly applying the LR guidance, we propose an additional invertible flow guidance module (FGM), which can transform the downscaled representation to the visually plausible image during downscaling and transform it back during upscaling. Benefiting from the invertibility of FGM, the downscaled representation could get rid of the LR guidance and would not disturb the downscaling-upscaling process. It allows us to remove the restrictions on the downscaling module and optimize the downscaling and upscaling modules in an end-to-end manner. In this way, these two modules could cooperate to maximize the HR reconstruction performance. Extensive experiments demonstrate that the proposed method can achieve state-of-the-art (SotA) performance on both downscaled and reconstructed images.

연구 동기 및 목표

• 이미지 재스케일링에서 이차적 낮은 해상도(LR) 가이던스의 제약을 해결하기 위해, 이는 저해상도 이미지의 시각적 품질을 향상시키지만 업스케일링 성능을 제한한다.
• 저해상도 표현의 시각적 타당성에 제약을 두지 않고 재스케일링 및 업스케일링 모듈의 종단간 동시 최적화를 가능하게 하기 위해.
• 저해상도 표현을 업스케일링 최적화에 적합하게 만들어 고해상도 재구성 성능을 극대화하기 위해.
• 손실 없는 변환을 지원하는 경량의 역행성 플로우 가이던스 모듈(FGM)을 설계하여 표현과 시각적으로 유리한 낮은 해상도(LR) 이미지 간의 변환을 가능하게 하기 위해.

제안 방법

• 재스케일링 과정에서 저해상도 표현을 시각적으로 타당한 낮은 해상도(LR) 이미지로 변환하고, 업스케일링 과정에서 이를 반대로 복원하는 역행성 플로우 가이던스 모듈(FGM)을 도입한다.
• FGM을 사용해 시각적 품질 제약을 재스케일링 과정에서 분리함으로써 저해상도 표현을 업스케일링 성능 향상에만 중점을 두고 최적화할 수 있도록 한다.
• 저해상도 가이던스가 재스케일링 모듈에 제공되지 않는 종단간 학습 전략을 사용하여 재스케일링 및 업스케일링 모듈을 동시에 최적화한다.
• FGM의 역행성 특성을 활용해 표현에서 LR 이미지로의 변환과 그 반대로의 복원이 손실 없이 이루어지도록 하여 재구성에 필요한 정보를 유지한다.
• 이차적 낮은 해상도(LR) 가이던스를 제거하고 FGM 가이던스로 대체함으로써 업스케일링 최적화와 더 잘 조화되는 가이던스를 제공한다.
• FGM이 시각적 정확도를 유지하면서 최적의 표현 학습을 가능하게 하도록, FGM을 포함한 종단간 인코딩-디코딩 프레임워크에서 네트워크를 학습시킨다.

실험 결과

연구 질문

• RQ1 재스케일링 과정에서 이차적 낮은 해상도(LR) 가이던스의 제약을 제거함으로써 업스케일링 성능을 향상시킬 수 있는가?
• RQ2 역행성 플로우 가이던스 모듈이 시각적 품질을 유지하면서 재스케일링 및 업스케일링의 종단간 최적화를 가능하게 하는가?
• RQ3 저해상도 이미지의 시각적 품질을 표현 학습에서 분리함으로써 고해상도 재구성 성능이 향상되는가?
• RQ4 저해상도 표현을 시각적 타당성 손실 없이 업스케일링 최적화에 적합하게 만들 수 있는가?

주요 결과

• 제안된 FGRN은 ×4 스케일에서 Set5 데이터셋에서 PSNR 36.16 dB, SSIM 0.9460을 기록하여 베이스라인 및 이차적 낮은 해상도(LR) 가이던스 모델을 모두 초월하는 최신 기술 수준의 성능을 달성한다.
• DIV2K 데이터셋에서 FGRN은 ×4 스케일에서 PSNR 35.14 dB, SSIM 0.9341을 기록하여 재구성 성능의 상한선에 가까이 도달한다.
• 절단 실험 결과, FGM을 포함한 DU_flow는 이차적 낮은 해상도(LR) 가이던스를 사용한 DU_bic보다 뛰어난 재스케일링 품질과 고해상도(HR) 재구성 성능을 보였다. 이는 성능 트레이드오���이 발생하기 때문이다.
• FGM 기반 모델은 DU_none(재스케일링 가이던스 없음)보다 더 나은 재구성 성능을 달성했으며, 이는 DU_none이 이론적으로 업스케일링 최적일 수 있음에도 불구하고 FGM이 시각적 품질을 유지할 수 있기 때문이다.
• 경쟁 기법보다 더 적은 파라미터로도 FGM 기반 방법이 뛰어난 재구성 성능을 보였으며, 이는 효율성과 효과성을 입증한다.
• 실험 결과, IRN의 잠재 변수가 고주파 보정을 특별히 제공하지 않음을 확인하여, 업스케일링 모듈 내에서 정보 손실이 암묵적으로 학습됨을 시사하며, FGRN와 같이 더 나은 표현 학습이 필요함을 뒷받침한다.