[논문 리뷰] Restoring Images Captured in Arbitrary Hybrid Adverse Weather Conditions in One Go

Yecong Wan, Mingwen Shao외 3명|arXiv (Cornell University)|2023. 05. 17.

Image Enhancement Techniques인용 수 4

한 줄 요약

이 논문은 단일 추론 단계에서 다양한 혼합 악성 기상 조건(예: 비- nebl-야간 등)으로 악화된 이미지를 복원하는 통합 딥러닝 프레임워크 RAHC를 제안한다. 다중 서브스페이스 악화 표현을 위한 멀티헤드 어그리게이션 블록, 콘텐츠 가이던스를 위한 복원 벡터, 일반화를 위한 출력공간 구분 기반 기반의 RAHC는 새로운 316K쌍 데이터셋(HAC)과 기존 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전 방법들에 비해 뚜렷한 성능 향상을 보였다.

ABSTRACT

Adverse conditions typically suffer from stochastic hybrid weather degradations (e.g., rainy and hazy night), while existing image restoration algorithms envisage that weather degradations occur independently, thus may fail to handle real-world complicated scenarios. Besides, supervised training is not feasible due to the lack of a comprehensive paired dataset to characterize hybrid conditions. To this end, we have advanced the aforementioned limitations with two tactics: framework and data. First, we present a novel unified framework, dubbed RAHC, to Restore Arbitrary Hybrid adverse weather Conditions in one go. Specifically, our RAHC leverages a multi-head aggregation architecture to learn multiple degradation representation subspaces and then constrains the network to flexibly handle multiple hybrid adverse weather in a unified paradigm through a discrimination mechanism in the output space. Furthermore, we devise a reconstruction vectors aided scheme to provide auxiliary visual content cues for reconstruction, thus can comfortably cope with hybrid scenarios with insufficient remaining image constituents. Second, we construct a new dataset, termed HAC, for learning and benchmarking arbitrary Hybrid Adverse Conditions restoration. HAC contains 31 scenarios composed of an arbitrary combination of five common weather, with a total of ~316K adverse-weather/clean pairs. Extensive experiments yield superior results and establish new state-of-the-art results on both HAC and conventional datasets.

연구 동기 및 목표

• 다양한 악성 기상 조건(예: 비, 안개, 눈, 야간, 비눈 등)의 조합으로 인해 악화된 이미지를 복원할 수 있는 통합 모델의 부족을 해결하기 위해.
• 기존 방법들이 악화를 개별적으로 또는 특정 쌍에 대해서만 다루는 데서 비롯되는 한계를 극복하여, 실세계에서의 확률적 혼합 조건에서 실패하는 문제를 해결하기 위해.
• 인간의 수동 레이블링이 비용이 많이 들지 않는 다각적 혼합 악화 쌍을 생성하기 위한 확장 가능하고 데이터 효율적인 훈련 파이프라인 개발을 위해.
• 일반화 및 내구성 평가를 위한 철저한 평가를 가능하게 하기 위해, 31가지 혼합 기상 조건에서 약 316K쌍의 이미지를 포함하는 종합적인 벤치마크 데이터셋(HAC)을 구축하기 위해.

제안 방법

• RAHC는 복합적이고 겹치는 기상 악화 조건을 함께 모델링할 수 있도록 복합 컨볼루션 및 어텐션 메커니즘의 조합을 사용해 다중 악화 표현 서브스페이스를 학습하는 멀티헤드 블렌드 블록(MHBB)을 활용한다.
• 이러한 방법은 자연 이미지에서 미리 훈련된 이산 코드북 임베딩인 복원 벡터를 도입하여 보조적인 시각적 콘텐츠 신호를 제공함으로써, 이미지 세부 정보가 심각하게 손상된 경우 복원 정밀도를 향상시킨다.
• 새로운 출력공간 구분(OSD) 메커니즘은 네트워크 출력에 다중 레이블 분류기를 훈련시켜 악화 불변 복원 능력을 강제로 부여함으로써, 알려지지 않은 혼합 조건에 대한 일반화를 향상시킨다.
• HAC 데이터셋은 악화 패턴을 암묵적으로 학습할 수 있도록 훈련된 생성 모델인 AdverseGAN을 사용하여 구축되었으며, 저비용으로 다양한 혼합 기상 쌍을 자동으로 합성할 수 있도록 한다.
• 훈련 데이터는 AdverseGAN에서 생성된 이미지로 증강되었으며, 이는 신뢰할 수 있고 효과적인 것으로 입증되었으며, GPU당 레이블링 비용을 약 1개월에서 약 10분으로 감소시켰다.
• 이 프레임워크는 기존의 최신 기술 수준 아키텍처(예: Restormer, NAFNet)와 호환되며, OSD는 모든 통합 복원 설정에서 성능 향상을 위해 원활하게 통합될 수 있다.

Figure 1: Overview of adverse conditions restoration frameworks. (a) Separate networks designed for specific tasks; (b) generic networks with task-specific weights; (c) unified all-in-one networks with single trained weights; (d) our proposed RAHC framework. In contrast to existing approaches that a

실험 결과

연구 질문

• RQ1 단일 딥러닝 모델이 특정 단일 또는 정의된 쌍에 국한되지 않고, 다양한 악성 기상 조건의 임의의 조합으로 악화된 이미지를 효과적으로 복원할 수 있는가?
• RQ2 이미지 콘텐츠가 심각하게 악화되고 잔류하는 구조적 정보가 거의 남아 있지 않은 경우, 모델이 높은 복원 품질을 유지할 수 있는가?
• RQ3 AdverseGAN과 같은 생성 모델이 인간 레이블링 없이도 현실적이며 다양한, 신뢰할 수 있는 혼합 악화 쌍을 효과적으로 생성할 수 있는가?
• RQ4 출력공간 구분이 특징 수준 또는 지식 distillation 전략에 비해 알려지지 않은 혼합 기상 조건에 대한 일반화를 향상시키는 데 더 효과적인가?
• RQ5 합성된 다각적 데이터셋에서 훈련된 통합 프레임워크가 실세계의 복잡한 악성 기상 조건에 효과적으로 일반화될 수 있는가?

주요 결과

• RAHC는 HAC 데이터셋에서 PSNR 22.92를 기록하여, 이전의 최신 기술 수준 방법들인 TKL(21.30) 및 Restormer+TKL(21.14)을 크게 앞서며 뛰어난 복원 품질을 입증했다.
• 제안된 출력공간 구분(OSD) 기법은 NAFNet에 적용했을 때 기준 모델 대비 최대 0.53의 PSNR 향상을 이끌었으며, PSNR 및 SSIM 모두에서 지식 정복 기반 전략(TKL)을 능가했다.
• AdverseGAN에서 생성된 데이터로 훈련된 모델은 실제 데이터로 훈련된 모델와 비교해 유사한 성능(PSNR 19.12 vs. PSNR 19.16)을 기록했으며, 합성 데이터 파이프라인의 신뢰성과 효율성을 입증했다.
• 316K쌍의 이미지가 포함된 HAC 데이터셋은 31가지 혼합 기상 조합에서 일반화 능력 평가에 강력한 기반을 제공했으며, 실세계 조건에서 종종 다중 동시 악화가 발생하는 것으로 드러났다.
• 실세계 이미지에 대한 시각적 결과는 RAHC가 사실적으로 높은 정밀도의 출력을 생성함으로써, 실제 배포 환경에서의 내구성과 실용성을 확인시켰다.
• 복원 벡터의 통합은 텍스처와 에지 정보가 대부분 손실된 저콘텐츠 시나리오에서 특히 시각적 품질과 구조 일관성을 향상시켰다.

Figure 2: Illustration of the proposed RAHC architecture. The restoration network consists of an encoder, a decoder, and a feature mapping subnetwork. The mapping network first maps the encoded feature to the latent clean space and then locates the reconstruction vectors in the pre-established Codeb