[논문 리뷰] All-In-One Underwater Image Enhancement using Domain-Adversarial Learning

Pritish Uplavikar, Zhenyu Wu외 1명|arXiv (Cornell University)|2019. 05. 30.

Image Enhancement Techniques참고 문헌 22인용 수 74

한 줄 요약

단일 인코더–디코더 네트워크가 적대적 nuisance 분류를 통해 물 유형에 구애받지 않는 특징을 학습하여 Jerlov 물 유형 전반에서 수중 이미지를 향상시키고, SSIM/PSNR을 개선하며 실세계 데이터로의 일반화를 달성합니다. 또한 하류 객체 탐지도 향상시킵니다.

ABSTRACT

Raw underwater images are degraded due to wavelength dependent light attenuation and scattering, limiting their applicability in vision systems. Another factor that makes enhancing underwater images particularly challenging is the diversity of the water types in which they are captured. For example, images captured in deep oceanic waters have a different distribution from those captured in shallow coastal waters. Such diversity makes it hard to train a single model to enhance underwater images. In this work, we propose a novel model which nicely handles the diversity of water during the enhancement, by adversarially learning the content features of the images by disentangling the unwanted nuisances corresponding to water types (viewed as different domains). We use the learned domain agnostic features to generate enhanced underwater images. We train our model on a dataset consisting images of 10 Jerlov water types. Experimental results show that the proposed model not only outperforms the previous methods in SSIM and PSNR scores for almost all Jerlov water types but also generalizes well on real-world datasets. The performance of a high-level vision task (object detection) also shows improvement using enhanced images with our model.

연구 동기 및 목표

• Jerlov 물 유형 전반에 걸친 수중 이미지 분포의 다양성을 동기부여하고 해결합니다.
• 장면의 도메인-불가지론적 특성을 학습하는 단일 CNN 기반 향상 모델을 개발합니다.
• 콘텐츠 특징에서 물 유형 nuisance를 분리하기 위해 적대적 학습을 활용합니다.
• 다수의 물 유형에 걸쳐 기존 방법 대비 정량적 지표(SSIM/PSNR)를 향상시키는 것을 보여줍니다.
• 실세계 데이터셋으로의 일반화와 물체 탐지와 같은 고수준 작업에의 이점을 입증합니다.

제안 방법

• 손상된 입력으로부터 맑은 수중 이미지를 재구성하기 위해 인코더–디코더(U-Net) 구조를 사용합니다.
• 잠재 벡터 Z에서 물 유형 정보를 예측하는 nuisance 분류기 D를 도입하여 물 유형 정보를 모델링합니다.
• 인코더에 대하여 분류기의 신뢰도(음의 엔트로피)를 최소화하는 적대적 손실을 적용하여 도메인-불가지론적 특징을 학습합니다.
• G(Z)와 실제 맑은 이미지 간의 재구성 손실을 최적화하여 충실한 복원을 보장합니다.
• 대립적 학습과 nuisance 분류기의 성능 간의 균형을 맞추는 단계적 학습 절차를 통해 의미 있는 잠재 표현을 보장합니다.
• attenuations 및 산란 효과를 반영하기 위해 수중 이미지 형성 모델에 기반한 다중 물 유형 훈련 세트를 합성합니다.

실험 결과

연구 질문

• RQ1 하나의 향상 모델이 물 유형 식별 없이도 여러 Jerlov 물 유형을 다룰 수 있나요?
• RQ2 적대적 도메인 적응이 인코더가 물 유형에 구애받지 않는 특징을 학습하도록 돕고 restoration 품질을 개선하나요?
• RQ3 물 유형에 구애받지 않는 특징이 합성 데이터 외 실세계 수중 이미지에 대한 일반화를 개선하나요?
• RQ4 제안 방법으로 수중 이미지를 향상시키면 객체 탐지와 같은 하류 작업이 개선되나요?
• RQ5 제안 방법이 일반 U-Net 같은 비적대적 기반선과 비교해 SSIM/PSNR에서 물 유형 간 성능이 더 높은가요?

주요 결과

• 제안된 UIE-DAL 모델은 합성 데이터에서 거의 모든 Jerlov 물 유형에 대해 SSIM과 PSNR에서 기존 방법보다 우수합니다.
• 모델은 학습 중 보지 못한 실세계 수중 이미지에 대해 잘 일반화합니다.
• 적대적 학습은 도메인-불가지론적 잠재 표현을 생성하며 인코딩은 물 유형보다 콘텐츠로 클러스터링됩니다(PCA 시각화에 의해 확인).
• UIE-DAL로 이미지를 향상시키면 일부 데이터셋에서 객체 탐지 성능(예: YOLOv3)이 향상됩니다.
• vanilla U-Net과 비교할 때, 여러 물 유형에 걸쳐 SSIM/PSNR이 더 높아/restoration 품질이 향상됩니다.
• 이 접근법은 수중 장면 다양성에 대한 강인성을 보여주며 고수준 비전 작업의 향상을 지원합니다.