[논문 리뷰] AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation

Yuning Cui, Syed Waqas Zamir외 4명|arXiv (Cornell University)|2024. 03. 21.

Advanced Optical Sensing Technologies인용 수 9

한 줄 요약

AdaIR은 주파수 마이닝과 modulation을 활용하여 다양한 열화를 하나의 프레임워크에서 처리하는 적응형 All-in-One 이미지 복원 모델로, 여러 작업에서 최첨단 결과를 달성합니다.

ABSTRACT

In the image acquisition process, various forms of degradation, including noise, haze, and rain, are frequently introduced. These degradations typically arise from the inherent limitations of cameras or unfavorable ambient conditions. To recover clean images from degraded versions, numerous specialized restoration methods have been developed, each targeting a specific type of degradation. Recently, all-in-one algorithms have garnered significant attention by addressing different types of degradations within a single model without requiring prior information of the input degradation type. However, these methods purely operate in the spatial domain and do not delve into the distinct frequency variations inherent to different degradation types. To address this gap, we propose an adaptive all-in-one image restoration network based on frequency mining and modulation. Our approach is motivated by the observation that different degradation types impact the image content on different frequency subbands, thereby requiring different treatments for each restoration task. Specifically, we first mine low- and high-frequency information from the input features, guided by the adaptively decoupled spectra of the degraded image. The extracted features are then modulated by a bidirectional operator to facilitate interactions between different frequency components. Finally, the modulated features are merged into the original input for a progressively guided restoration. With this approach, the model achieves adaptive reconstruction by accentuating the informative frequency subbands according to different input degradations. Extensive experiments demonstrate that the proposed method achieves state-of-the-art performance on different image restoration tasks, including denoising, dehazing, deraining, motion deblurring, and low-light image enhancement. Our code is available at https://github.com/c-yn/AdaIR.

연구 동기 및 목표

• 다중 열화 유형 정보를 제공하지 않고도 단일 모델이 다중 열화를 처리해야 할 필요성을 제시한다.
• 주파수 영역 지식을 활용하여 열화별 주파수 패턴에 맞춘 복원을 도모한다.
• Adaptive Frequency Learning Block (AFLB)과 Frequency Mining Module (FMiM) 및 Frequency Modulation Module (FMoM)을 도입한다.
• 노이즈 제거, 흐림 제거, 비를 제거, 모션 흐림 보정 및 저조도 향상에서 최첨단 성능을 보여준다.

제안 방법

• AFLB를 열화된 입력의 분광 분포를 활용하여 저주파 및 고주파 특징을 추출하는 플러그인 블록으로 제안한다.
• FMiM은 degraded 입력을 spectral domain으로 변환하고, 적응 주파수 마스크를 생성하며, cross-attention 메커니즘을 통해 주파수 인식 특징을 추출한다.
• FMoM은 H-L(H1-to-Low spatial attention) 및 L-H(Low-to-High channel attention) 유닛을 통해 저주파 특징과 고주파 특징 간의 교차 상호작용을 가능하게 한다.
• 4-레벨 Transformer 기반 인코더-디코더에 AFLB를 통합하여 점진적으로 깨끗한 이미지를 재구성한다.
• 교차 주의 기반의 전치 메커니즘을 사용하여 조절된 주파수 특징을 공간 특징으로 다시 합성하여 복원을 수행한다.]

실험 결과

연구 질문

• RQ1 단일 모델이 명시적 열화 유형 정보 없이도 여러 가지 열화를 가진 이미지를 복원할 수 있는가?
• RQ2 주파수 영역 메커니즘(FMiM/FMoM)이 순수 공간적 접근 방식에 비해 All-in-One 복원에서 실질적 이점을 제공하는가?
• RQ3 적응 주파수 경계가 노이즈 제거, 대기 제거, 비, 흐림 제거, 저조도 향상 작업 전반에 걸쳐 복원에 어떤 영향을 미치는가?

주요 결과

• AdaIR은 노이즈 제거, 대기 제거, 비 제거, 모션 흐림 보정 및 저조도 향상을 포함한 All-in-One 복원 작업에서 최첨단 성능을 달성한다.
• All-in-One 설정에서 AdaIR은 PromptIR보다 평균 0.63 dB PSNR, AirNet보다 1.49 dB PSNR 더 우수하다.
• Deraining에서 AdaIR은 PromptIR에 비해 PSNR이 2.27 dB 향상된다.
• 다섯 가지 열화 All-in-One 설정에서 AdaIR은 IDR 대비 평균 1.86 dB PSNR의 이점을 얻으며, 특히 대기 제거에서 5 dB 이상 큰 이점을 보인다.
• Abalation 연구는 FMiM 단독이 고정 마스크 대비 PSNR을 1.58 dB 향상시키며, L-H와 H-L 유닛의 결합이 상당한 이점을 제공하여 주파수 인식 변조의 효과를 확인시켜 준다.