[논문 리뷰] Underwater Image Restoration via Contrastive Learning and a Real-world Dataset

Junlin Han, Mehrdad Shoeiby외 8명|arXiv (Cornell University)|2021. 06. 20.

Image Enhancement Techniques인용 수 5

한 줄 요약

이 논문은 대비 학습과 실세계 데이터셋(HICRD)을 활용하여 쌍이 없는 훈련 데이터 없이도 이미지 선명도, 색상 충실도, 대비를 향상시키는 새로운 비지도 수중 이미지 복원 방법 CWR를 제안한다. GAN 기반의 이미지-이미지 번역 모델 내에서 대비 학습 프레임워크를 활용해 원본 이미지와 복원 이미지 간의 상호정보를 최대화함으로써 최신 기술 수준의 성능을 달성하였으며, 측정된 수중 매개변수로부터 유도된 물리적으로 정확한 기준 이미지를 포함한 대규모 데이터셋에서 검증되었다.

ABSTRACT

Underwater image restoration is of significant importance in unveiling the underwater world. Numerous techniques and algorithms have been developed in the past decades. However, due to fundamental difficulties associated with imaging/sensing, lighting, and refractive geometric distortions, in capturing clear underwater images, no comprehensive evaluations have been conducted of underwater image restoration. To address this gap, we have constructed a large-scale real underwater image dataset, dubbed `HICRD' (Heron Island Coral Reef Dataset), for the purpose of benchmarking existing methods and supporting the development of new deep-learning based methods. We employ accurate water parameter (diffuse attenuation coefficient) in generating reference images. There are 2000 reference restored images and 6003 original underwater images in the unpaired training set. Further, we present a novel method for underwater image restoration based on unsupervised image-to-image translation framework. Our proposed method leveraged contrastive learning and generative adversarial networks to maximize the mutual information between raw and restored images. Extensive experiments with comparisons to recent approaches further demonstrate the superiority of our proposed method. Our code and dataset are publicly available at GitHub.

연구 동기 및 목표

• 실세계 데이터셋과 정확한 기준 이미지의 부족으로 인해 수중 이미지 복원 분야에서 종합적인 벤치마킹이 부족한 점을 해결하기 위해.
• 쌍이 없는 훈련 데이터가 필요 없는 강력한 비지도 딥 러닝 방법을 개발하기 위해.
• 측정된 수중 매개변수를 활용한 물리적 수중 영상 모델을 통해 정밀한 기준 복원 이미지를 생성함으로써 이미지 품질을 향상시키기 위해.
• 측정된 수중 매개변수를 기반으로 한 대규모 실세계 데이터셋과 기준 참조 이미지를 활용해 복원 방법의 공정하고 객관적인 평가를 가능하게 하기 위해.
• 미래의 비지도 및 지도 학습 기반 수중 이미지 복원 연구를 지원하기 위해 공개된 코드와 데이터셋을 제공함으로써 분야 발전을 이끌기 위해.

제안 방법

• 측정된 흩어짐 감쇠 계수(Kd)와 수중 매개변수를 기반으로 유도된 6,003장의 원본 수중 이미지와 2,000장의 기준 복원 이미지를 포함하는 HICRD 데이터셋 구축.
• 생성적 적대적 네트워크(GANs)를 활용한 비지도 이미지-이미지 번역 모델인 CWR(대비 수중 복원) 프레임워크 개발.
• 쌍이 없는 지도 없이도 원본 및 복원 이미지 표현 간의 상호정보를 최대화하기 위해 대비 학습을 적용.
• 원본 및 복원 이미지 간의 공유 표현을 학습하기 위해 시아미즈 네트워크 아키텍처를 사용하고, 대비 손실을 통해 특징 유사도를 최적화.
• 쌍이 없는 HICRD 서브셋에서 훈련하여 원본에서 복원 이미지로의 복원 맵핑을 엔드 투 엔드로 학습.
• 수중 영상 모델의 물리적 사전 지식을 복원 과정에 통합하여 현실성과 정확도 향상.

실험 결과

연구 질문

• RQ1 물리적으로 정확한 기준 이미지를 포함한 대규모 실세계 수중 이미지 데이터셋은 복원 방법의 보다 신뢰할 수 있는 벤치마킹을 가능하게 하는가?
• RQ2 쌍이 없는 훈련 데이터가 존재하는 상황에서 대비 학습이 원본 및 복원 수중 이미지 간의 특징을 효과적으로 정렬할 수 있는가?
• RQ3 제안된 CWR 방법은 시각적 품질과 정량적 지표 측면에서 기존의 비지도 및 지도 학습 기반 수중 이미지 복원 기법들을 초월하는가?
• RQ4 흡수 감쇠 계수(Kd)와 같은 물리적 매개변수는 실세계 환경에서 기준 복원 이미지의 정확도를 어느 정도 향상시키는가?
• RQ5 실제 데이터셋을 사용할 때 CWR 방법의 성능은 기준이 있는 평가 지표와 기준이 없는 평가 지표 간에 어떻게 비교되는가?

주요 결과

• 6,003장의 원본 및 2,000장의 기준 복원 이미지를 포함하는 HICRD 데이터셋은 수중 이미지 복원을 위한 대규모이고 물리적으로 기반을 둔 벤치마크를 제공한다.
• 기존의 방법들인 DCP, UDCP, 레드 채널 프라이어를 포함해 CWR 방법은 색상 충실도와 대비 향상 측면에서 뛰어난 성능을 보였다.
• 기준이 있는 지표와 기준이 없는 지표 양쪽 모두에서 CWR는 최신 기술 수준의 학습 기반 복원 방법들을 능가하며, 강력한 일반화 능력과 현실성의 향상을 보였다.
• 대비 학습은 원본 및 복원 이미지 간의 특징 정렬을 크게 향상시켜 쌍이 없는 데이터 없이도 효과적인 비지도 학습을 가능하게 하였다.
• 측정된 수중 매개변수(Kd)를 활용해 기준 이미지를 생성함으로써, 가정이나 추정된 매개변수에 의존하는 방법보다 더 정확하고 물리적으로 타당한 복원 결과를 도출하였다.
• 다양한 수중 환경, 특히 산호초 환경에서의 색상과 대비 복원에 있어 제안된 방법은 강력한 내성과 안정성을 보였다.