[논문 리뷰] Towards Effective Multiple-in-One Image Restoration: A Sequential and Prompt Learning Strategy

Xiangtao Kong, Chao Dong외 1명|arXiv (Cornell University)|2024. 01. 07.

Photoacoustic and Ultrasonic Imaging인용 수 4

한 줄 요약

이 논문은 여러 가지 다른 이미지 복원 작업을 동시에 처리할 수 있는 단일 모델을 가능하게 하는 순차적이고 프롬프트 기반 학습 전략을 제안한다. 일련의 작업에 대해 순차적으로 학습하고, 작업 적응을 위해 명시적 또는 적응형 프롬프트를 사용함으로써, CNN 및 트랜스포머 기반 모델 전반에서 최신 기술 성능을 달성하며, 분포 외 집합에서 최대 +2.09 dB의 PSNR 향상을 이룬다.

ABSTRACT

While single task image restoration (IR) has achieved significant successes, it remains a challenging issue to train a single model which can tackle multiple IR tasks. In this work, we investigate in-depth the multiple-in-one (MiO) IR problem, which comprises seven popular IR tasks. We point out that MiO IR faces two pivotal challenges: the optimization of diverse objectives and the adaptation to multiple tasks. To tackle these challenges, we present two simple yet effective strategies. The first strategy, referred to as sequential learning, attempts to address how to optimize the diverse objectives, which guides the network to incrementally learn individual IR tasks in a sequential manner rather than mixing them together. The second strategy, i.e., prompt learning, attempts to address how to adapt to the different IR tasks, which assists the network to understand the specific task and improves the generalization ability. By evaluating on 19 test sets, we demonstrate that the sequential and prompt learning strategies can significantly enhance the MiO performance of commonly used CNN and Transformer backbones. Our experiments also reveal that the two strategies can supplement each other to learn better degradation representations and enhance the model robustness. It is expected that our proposed MiO IR formulation and strategies could facilitate the research on how to train IR models with higher generalization capabilities.

연구 동기 및 목표

• 여러 가지 다른 이미지 복원 작업을 동시에 처리할 수 있는 단일 모델을 개발하는 데 도전한다.
• 혼합된 손상 유형에서 학습할 때 최적화의 불안정성과 작업 간 간섭을 해결한다.
• 내부 및 외부 분포 테스트 세트에서 모델의 일반화 능력과 강건성을 향상시킨다.
• 청결하고 잡음이 없는 참값 이미지를 사용하여 고품질의 감독 신호를 제공하는 통합 프레임워크를 개발한다.
• 안정적인 학습과 효과적인 작업별 적응을 위한 보완 전략을 탐구한다.

제안 방법

• 순차적 학습 전략 제안: 모든 작업을 혼합하여 학습하는 대신, 신중하게 설계된 순서에 따라 한 번에 하나의 이미지 복원 작업에 대해 모델을 학습한다.
• 프롬프트 학습을 도입하여 모델을 다양한 작업에 적응시키는 방법: 명시적 프롬프트(예: 작업 임베딩) 또는 입력 이미지에서 추출한 적응형 시각적 프롬프트를 사용한다.
• 명시적 프롬프트 학습을 적용하여, 학습 가능한 임베딩을 통해 네트워크에 작업별 조건 신호를 삽입한다.
• 적응형 프롬프트 학습을 구현하여 입력 이미지 자체에서 작업 인식 특징을 동적으로 생성한다.
• 순차적 학습과 프롬프트 학습 전략을 조합하여 손상 표현 학습 및 모델 강건성을 향상시킨다.
• 저품질의 감독 신호를 피하기 위해 체계적으로 선별된 데이터셋에서 얻은 고품질이고 잡음이 없는 참값 이미지를 사용한다.

실험 결과

연구 질문

• RQ1 여러 상충되는 이미지 복원 목표를 동시에 최적화할 때 학습을 어떻게 안정화시킬 수 있는가?
• RQ2 성능 저하 없이 다양한 이미지 복원 작업 간의 일반화 능력을 향상시키는 데 어떤 학습 전략이 효과적인가?
• RQ3 프롬프트 학습을 통해 피취업팅 없이 단일 모델이 다양한 복원 작업에 적응할 수 있는가?
• RQ4 순차적 학습과 프롬프트 학습 전략은 어떻게 상호보완되어 모델 성능과 강건성을 향상시키는가?
• RQ5 이러한 전략으로 훈련된 통합 모델은 내부 및 외부 분포 테스트 세트에서 전문 모델을 초월할 정도로 성능이 뛰어나게 되는가?

주요 결과

• 순차적 학습은 최적화 안정성을 향상시키며, SRResNet에선 평균 0.29 dB, SwinIR에선 평균 0.85 dB의 PSNR 향상을 이룬다.
• 순차적 학습과 명시적 프롬프트 학습의 조합은 SwinIR에서 분포 외 테스트 세트에서 최대 +2.09 dB의 PSNR 향상을 달성한다.
• 적응형 프롬프트 학습은 특히 알려지지 않은 손상 유형에서 일반화 능력을 향상시키며, SRResNet의 Unknown 테스트 세트에서 +1.06 dB의 향상을 기록한다.
• 고품질 참값 데이터를 사용한 제안된 MiO IR 공식화는 저품질 감독 신호로 인한 성능 저하를 방지한다.
• 순차적 학습과 프롬프트 학습 전략은 손상 표현 학습을 향상시켜 야생 환경 및 도전적인 테스트 세트에서의 강건성을 높인다.
• 이 방법은 SRResNet, SwinIR, Restormer, Uformer 등 다양한 백본에서 최신 기술 성능을 달성하여 광범위한 적용 가능성을 입증한다.