[논문 리뷰] Efficient Test-Time Adaptation for Super-Resolution with Second-Order Degradation and Reconstruction

Zeshuai Deng, Zhuokun Chen외 4명|arXiv (Cornell University)|2023. 10. 29.

Advanced Image Processing Techniques인용 수 4

한 줄 요약

이 논문은 이미지 초해상도 분석을 위한 빠른 테스트 시점 적응 프레임워크인 SRTTA를 제안한다. 도메인 이탈 문제를 해결하기 위해 이차 열화 기반 방식과 자기지도 학습 특징 복원을 사용한다. 열화 유형은 사전 학습된 분류기로 식별되며, 이차 열화 이미지에서 가짜 쌍 데이터를 생성하고, 최소한의 계산으로 효율적으로 초해상도 모델을 적응시킨다. 다양한 실제 세계 및 합성 열화 유형에서 최신 기술 성능을 달성한다.

ABSTRACT

Image super-resolution (SR) aims to learn a mapping from low-resolution (LR) to high-resolution (HR) using paired HR-LR training images. Conventional SR methods typically gather the paired training data by synthesizing LR images from HR images using a predetermined degradation model, e.g., Bicubic down-sampling. However, the realistic degradation type of test images may mismatch with the training-time degradation type due to the dynamic changes of the real-world scenarios, resulting in inferior-quality SR images. To address this, existing methods attempt to estimate the degradation model and train an image-specific model, which, however, is quite time-consuming and impracticable to handle rapidly changing domain shifts. Moreover, these methods largely concentrate on the estimation of one degradation type (e.g., blur degradation), overlooking other degradation types like noise and JPEG in real-world test-time scenarios, thus limiting their practicality. To tackle these problems, we present an efficient test-time adaptation framework for SR, named SRTTA, which is able to quickly adapt SR models to test domains with different/unknown degradation types. Specifically, we design a second-order degradation scheme to construct paired data based on the degradation type of the test image, which is predicted by a pre-trained degradation classifier. Then, we adapt the SR model by implementing feature-level reconstruction learning from the initial test image to its second-order degraded counterparts, which helps the SR model generate plausible HR images. Extensive experiments are conducted on newly synthesized corrupted DIV2K datasets with 8 different degradations and several real-world datasets, demonstrating that our SRTTA framework achieves an impressive improvement over existing methods with satisfying speed. The source code is available at https://github.com/DengZeshuai/SRTTA.

연구 동기 및 목표

• 테스트 시점 열화가 훈련 시점 열화 모델과 다를 때 발생하는 도메인 이탈 문제를 해결하기 위해.
• 원천 훈련 데이터에 접근할 수 없음에도 불구하고, 사전 학습된 초해상도 모델을 알 수 없는 또는 다중 열화 유형(예: 흐림, 노이즈, JPEG)에 신속하게 적응시킬 수 있도록 하기 위해.
• 기존의 제로샷 또는 메타학습 기반 적응 방법의 높은 추론 비용 문제를 해결하기 위해 반복 최적화를 최소화하기 위해.
• 자기지도 학습 복원 손실을 통해 다양한 실제 세계 열화 유형에 대한 강건성과 일반화 능력을 향상시키기 위해.
• 기존 모델의 지식을 유지하여 치명적인 잊음 현상을 방지하기 위해.

제안 방법

• 가짜 쌍 훈련 데이터를 생성하기 위해 이차 열화 기반 방식을 제안한다: 테스트 이미지를 무작위로 선택된 열화 유형을 두 번 적용하여 이차 열화 이미지를 생성한다.
• 테스트 이미지의 주요 열화 유형을 식별하기 위해 사전 학습된 열화 분류기를 사용하며, 이를 통해 이차 열화의 선택을 안내한다.
• 테스트 이미지와 그 이차 열화된 대응 이미지 간의 특징을 정렬하기 위해 자기지도 학습 기반의 이차 복원 손실을 설계하여, 진짜 고해상도 이미지가 없어도 효과적인 적응을 가능하게 한다.
• 특징 수준의 복원 학습을 적용하여 가짜 쌍 데이터를 사용해 초해상도 모델을 미세 조정함으로써, 다중 열화 유형을 역으로 복원할 수 있도록 학습한다.
• 기존 모델의 지식을 유지하기 위한 적응형 파rameter 보존 전략을 도입하여, 잊음 현상을 줄이고 안정성을 향상시킨다.
• 단일 순방향 전파로 작동하므로, 빠르게 변화하는 열화 조건에서 실시간 배포에 매우 효율적이다.

실험 결과

연구 질문

• RQ1 원천 훈련 데이터에 접근할 수 없음에도 불구하고, 테스트 시점 적응 프레임워크가 알 수 없는 또는 다중 열화 유형을 효과적으로 처리할 수 있는가?
• RQ2 다양한 열화 유형에 적응하기 위해 효율적으로 가짜 쌍 데이터를 구성할 수 있는가?
• RQ3 이차 열화 및 복원 학습은 일차 열화 또는 단일 열화 접근 방식에 비해 복잡한 실제 세계 열화에 대한 초해상도 모델의 강건성을 향상시킬 수 있는가?
• RQ4 기존의 제로샷 또는 메타학습 기반 방법과 비교해, 제안된 방법이 적응 시간을 얼마나 줄일 수 있는가? 이미질 품질을 유지하거나 향상시킬 수 있는가?
• RQ5 합성 및 실제 세계 환경 모두에서 블러, 노이즈, JPEG 아티팩트를 포함한 다양한 열화 유형에 대해 이 방법의 일반화 능력은 어느 정도인가?

주요 결과

• SRTTA는 새로 구성된 DIV2K-C 데이터셋(8종의 열화 유형 포함)에서 기존 방법들보다 PSNR 및 LPIPS 측면에서 최신 기술 성능을 달성한다.
• DPED, ADE20K, OST300과 같은 실제 세계 데이터셋에서, 기준 모델 대비 SRTTA는 더 적은 아티팩트를 생성하고 원본 이미지의 세부 사항을 더 잘 유지한다.
• 특히 가우시안 블러, 노이즈, JPEG 압축과 같은 도전적인 열화 유형에서도 높은 성능 향상을 기록하며, 테스트 이미지에 다중 열화 유형이 포함된 경우에도 효과적이다.
• SRTTA는 적응 시간을 거의 즉각적인 추론 속도 수준으로 줄여, 열화 유형이 빠르게 변화하는 동적 환경에서 실시간 배포를 가능하게 한다.
• 절단 실험 결과, 이차 열화 기반 방식과 복원 손실이 핵심 요소임을 확인하였으며, 이를 제거할 경우 성능가 급격히 저하된다.
• 적응형 파rameter 보존 전략은 치명적인 잊음 현상을 효과적으로 완화하며, 장기간 운영 환경에서 다수의 적응 단계를 거쳐도 높은 성능 유지를 유지한다.