[논문 리뷰] Efficient Unpaired Image Dehazing with Cyclic Perceptual-Depth Supervision

Chen Liu, Jiaqi Fan외 1명|arXiv (Cornell University)|2020. 07. 10.

Image Enhancement Techniques참고 문헌 23인용 수 8

한 줄 요약

이 논문은 사이클리컬 퍼셉추얼-딥스 서포비전과 옥테이브 컨볼루션 기반 듀얼패스 백본을 사용하여 효율적인 언페어드 이미지 디헤이징을 제안하며, NYU Depth V2에서 20.36 PSNR를 달성하여 이전의 언페어드 디헤이징 모델보다 유의하게 뛰어나고 FLOPs도 감소시켰다. 깊이 경계에서 안개 제거 성능을 향상시키기 위해 딥스 어웨어 페처 러닝과 사이클-컨시스턴트 트레이닝을 통해 달성된다.

ABSTRACT

Image dehazing without paired haze-free images is of immense importance, as acquiring paired images often entails significant cost. However, we observe that previous unpaired image dehazing approaches tend to suffer from performance degradation near depth borders, where depth tends to vary abruptly. Hence, we propose to anneal the depth border degradation in unpaired image dehazing with cyclic perceptual-depth supervision. Coupled with the dual-path feature re-using backbones of the generators and discriminators, our model achieves $\mathbf{20.36}$ Peak Signal-to-Noise Ratio (PSNR) on NYU Depth V2 dataset, significantly outperforming its predecessors with reduced Floating Point Operations (FLOPs).

연구 동기 및 목표

• 갑작스러운 깊이 경계 근처에서 성능 저하가 발생하는 언페어드 이미지 디헤이징 문제를 해결하기 위해, 기존 방법이 잔여 안개를 제거하지 못하는 문제를 해결한다.
• 페어드 헤이지-프리 이미지가 없이도 시나리오의 깊이 정보를 언페어드 디헤이징에 통합한다.
• 경량 듀얼패스 특징 표현 백본을 통해 계산 비용을 줄이고 동시에 디헤이징 품질을 향상시킨다.
• 사이클리컬 퍼셉추얼-딥스 서포비전을 통해 탈가시화된 출력의 현실감과 일관성을 향상시킨다.
• 기존의 언페어드 디헤이징 모델 대비 더 낮은 FLOPs로 최신 기술 수준의 성능을 달성한다.

제안 방법

• 페어드 데이터 없이도 안개가 있는 이미지를 헤이지-프리 이미지로 매핑하기 위해 사이클-컨시스턴트 손실을 사용하는 CycleGAN 기반 프레임워크를 사용한다.
• 옥테이브 컨볼루션에서 영감을 얻은 듀얼패스 특징 재사용 백본을 도입하여 고주기 및 저주기 공간 주파수 특징을 분리하여 효율적인 표현을 구현한다.
• 사전 훈련된 단안 깊이 추정 네트워크를 사용하여 사이클리컬 퍼셉추얼-딥스 일관성 손실을 적용함으로써 모델이 깊이 인식 디헤이징을 향해 유도한다.
• 모든 다섯 개의 스테이지에서 ResNet50 기반 퍼셉추얼 손실을 계산하여 생성된 이미지의 구조적 현실감을 향상시킨다.
• 훈련 안정성 향상과 특징 학습 개선을 위해 디세리미네이터에 스펙트럴 정규화를 통합한다.
• 사이클-컨시스턴스, 아이덴티티 매핑, 퍼셉추얼, SSIM, 사이클릭 깊이 일관성 손실을 결합하여 강력한 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 기존 언페어드 방법이 실패하는 깊이 경계에서 사이클리컬 퍼셉추얼-딥스 서포비전이 디헤이징 성능을 향상시킬 수 있는가?
• RQ2 옥테이브 컨볼루션을 통한 듀얼패스 특징 표현이 FLOPs를 줄이며 디헤이징 품질을 향상시킬 수 있는가?
• RQ3 언페어드 디헤이징에서 사이클릭 깊이 일관성 손실이 SSIM 또는 표준 퍼셉추얼 손실보다 우월한가?
• RQ4 공유된 특징 경로를 가진 경량 백본이 더 적은 파라미터와 낮은 FLOPs로 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 페어드 데이터 없이도 깊이 서포비전 통합이 탈가시화된 출력의 현실감과 일관성을 향상시킬 수 있는가?

주요 결과

• 제안된 모델은 NYU Depth V2 데이터셋에서 20.36 PSNR를 기록하여 재현한 Cycle-dehaze(16.15)보다 4.91 PSNR 향상되었고, 원본 Cycle-dehaze(15.41)보다는 4.95 PSNR 향상되었다.
• 사이클리컬 퍼셉추얼-딥스 손실은 기준 모델 대비 PSNR 6.64% 향상 및 SSIM 8.22% 향상되었으며, SSIM 및 표준 퍼셉추얼 손실보다 뛰어난 성능을 보였다.
• 생성기 및 디세리미네이터 양쪽에 옥테이브 컨볼루션을 적용함으로써 표준 컨볼루션 대비 PSNR가 12.00% 향상되고 SSIM은 5.33% 향상되었다.
• 디세리미네이터에 스펙트럴 정규화를 추가함으로써 성능 향상이 더욱 뚜렷해졌으며, 이는 훈련 안정성 향상에 기여함을 확인했다.
• 오직 6개의 옥테이브 컨볼루션 블록만으로도 원본 Cycle-dehaze(9개 블록)보다 뛰어난 성능을 달성하여 높은 효율성을 입증했다.
• 정성적 결과 분석에서 제안된 방법은 이전 모델이 잔여 안개를 제거하지 못하는 깊이 경계, 예를 들어 책상 아래나 가장자리 근처에서도 효과적으로 안개를 제거하는 것으로 나타났다.