[논문 리뷰] Towards Domain Invariant Single Image Dehazing

Pranjay Shyam, Kuk‐Jin Yoon외 1명|arXiv (Cornell University)|2021. 01. 09.

Image Enhancement Techniques참고 문헌 50인용 수 6

한 줄 요약

이 논문은 공간적 인지 채널 주의 메커니즘과 탐욕적인 국소화된 데이터 증강을 사용하여 비균일한 안개 분포를 다루기 위한 도메인 불변 단일 이미지 제안 티잉 프레임워크를 제안한다. 저주파수 및 고주파수 사전 지식을 활용한 이중 판별자 적대적 프레임워크 내에서 훈련된 방법은 실제 및 합성 데이터셋 모두에서 최신 기술 수준의 성능을 달성하며, 다양한 도메인과 안개 밀도에 걸쳐 강건함을 입증한다.

ABSTRACT

Presence of haze in images obscures underlying information, which is undesirable in applications requiring accurate environment information. To recover such an image, a dehazing algorithm should localize and recover affected regions while ensuring consistency between recovered and its neighboring regions. However owing to fixed receptive field of convolutional kernels and non uniform haze distribution, assuring consistency between regions is difficult. In this paper, we utilize an encoder-decoder based network architecture to perform the task of dehazing and integrate an spatially aware channel attention mechanism to enhance features of interest beyond the receptive field of traditional conventional kernels. To ensure performance consistency across diverse range of haze densities, we utilize greedy localized data augmentation mechanism. Synthetic datasets are typically used to ensure a large amount of paired training samples, however the methodology to generate such samples introduces a gap between them and real images while accounting for only uniform haze distribution and overlooking more realistic scenario of non-uniform haze distribution resulting in inferior dehazing performance when evaluated on real datasets. Despite this, the abundance of paired samples within synthetic datasets cannot be ignored. Thus to ensure performance consistency across diverse datasets, we train the proposed network within an adversarial prior-guided framework that relies on a generated image along with its low and high frequency components to determine if properties of dehazed images matches those of ground truth. We preform extensive experiments to validate the dehazing and domain invariance performance of proposed framework across diverse domains and report state-of-the-art (SoTA) results.

연구 동기 및 목표

• 도메인 이동과 비균일한 안개 분포로 인해 발생하는 합성 및 실제 세계 제안 티잉 데이터셋 간의 성능 격차를 해소하기 위해.
• 표준 컨볼루션 커널의 고정된 수용 영역을 초월하여 기능 표현을 향상시켜 제안 티잉 이미지의 특징 일致성과 구조 보존을 향상시키기 위해.
• 주파수 기반 사전 지식을 활용한 적대적 훈련을 통해 다양한 안개 밀도와 예측 불가능한 도메인에 대한 일반화를 보장하기 위해.
• 기존 방법들이 합성 데이터 생성에서 수작업으로 만든 사전 지식이나 균일한 안개 가정에 의존하는 한계를 극복하기 위해.
• 엔드 투 엔드로 학습 가능한 아키텍처를 사용하여 최신 기술 수준의 제안 티잉 성능과 강력한 도메인 불변성을 달성하기 위해.

제안 방법

• 다중 스케일 특징을 캡처하고 안개 없는 이미지를 재구성하기 위해 인코더-디코더 기반의 UNet 아키텍처를 사용한다.
• 표준 컨볼루션의 고정된 수용 영역을 초월하여 특징을 향상시키기 위해 공간적 인지 채널 주의(SATA) 모듈을 도입한다.
• 노이즈가 있는 이미지에서 패치를 복사하여 청소된 이미지에 적용함으로써 비균일한 안개를 합성하기 위해 탐욕적인 국소화된 데이터 증강(GLDA)을 적용한다.
• 저주파수(LF) 및 고주파수(HF) 성분을 위한 별도의 판별자로 구성된 사전 지도 기반 생성 적대적 프레임워크 내에서 네트워크를 훈련시킨다.
• LF 및 HF 성분을 사전 지식으로 사용하여 판별자가 실제 제안 티잉 이미지와 생성된 이미지를 구분하도록 유도함으로써 색상과 구조 일치성을 향상시킨다.
• 실제감과 정밀도를 향상시키기 위해 L1, 인지적, 적대적 손실을 조합한 손실 함수를 최적화하여 생성자 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 제안 티잉 모델은 비균일하고 실제 세계 조건을 포함한 다양한 안개 분포에서 일관된 성능을 달성할 수 있는가?
• RQ2 공간적 인지 채널 주의는 표준 컨볼루션 커널의 수용 영역을 초월하여 특징 표현을 얼마나 효과적으로 향상시키는가?
• RQ3 탐욕적인 국소화된 데이터 증강은 합성 훈련 데이터에서 비균일한 안개 패턴으로의 일반화를 얼마나 향상시키는가?
• RQ4 적대적 프레임워크 내에서 주파수 기반 사전 지식(LF 및 HF 성분)이 제안 티잉 출력의 구조적 및 색상 일치성을 얼마나 향상시키는가?
• RQ5 이중 판별자(LF 및 HF)의 통합은 표준 GAN이나 단일 판별자 설정에 비해 더 나은 도메인 불변성을 제공하는가?

주요 결과

• 제안된 방법은 NTIRE-18 벤치마크에서 PSNR 24.14와 SSIM 0.80을 기록하여 이전의 모든 방법, 포함 SOTA 베이스라인을 초월한다.
• 외부 도메인 테스트 세트로 간주되는 Haze-RD 데이터셋에서, 방법은 PSNR 21.42와 SSIM 0.81을 유지하며, PSNR가 16 이하로 떨어지는 강력한 베이스라인들을 크게 앞서간다.
• 절단 분석 결과, GLDA, SATA, MSFA 및 이중 판별자를 조합하면 NTIRE-19에서 PSNR 19.47과 SSIM 0.75를 기록했으며, SOTS-IN에서는 PSNR 38.91과 SSIM 0.98를 기록하여 뛰어난 성능과 강건성을 입증한다.
• LF 및 HF 사전 지식 기반 판별자를 추가함으로써 단순한 판별자 대비 PSNR 3.45 향상 및 SSIM 0.03 향상이 이루어져, 구조적 및 색상 정밀도 유지에 기여함을 확인한다.
• 시각적 분석 결과, 제안된 방법은 이전 방법들이 잔류 안개나 텍스처 왜곡을 남기던 것과 달리, 더 완전하게 안개를 제거하면서도 객체 구조와 색상을 보존함을 확인한다.
• NTIRE-18 및 Haze-RD 양쪽에서 일관된 성능을 보이며, 예측 불가능한 도메인으로의 일반화 능력이 효과적으로 확보됨을 입증함으로써, 도메인 불변성이 검증된다.