[논문 리뷰] Domain Adaptive Adversarial Learning Based on Physics Model Feedback for Underwater Image Enhancement

Yuan Zhou, Kangming Yan|arXiv (Cornell University)|2020. 02. 20.

Image Enhancement Techniques참고 문헌 51인용 수 11

한 줄 요약

이 논문은 영상 형성 모델을 통해 생성한 합성 수중 데이터셋을 활용하여 도메인 적응형, 물리 기반 피드백 제어를 통합한 수중 영상 향상용 GAN 프레임워크를 제안한다. 도메인 적응 및 물리 기반 피드백 제어를 통합함으로써 정량적 지표(UIQM: 5.0874)와 정성적 결과 모두에서 기존 방법들을 뛰어넘는 성능을 달성하여 대trast, 색상 충실도, 세부 정보 복원 측면에서 뚜렷한 우수성을 보였다.

ABSTRACT

Owing to refraction, absorption, and scattering of light by suspended particles in water, raw underwater images suffer from low contrast, blurred details, and color distortion. These characteristics can significantly interfere with the visibility of underwater images and the result of visual tasks, such as segmentation and tracking. To address this problem, we propose a new robust adversarial learning framework via physics model based feedback control and domain adaptation mechanism for enhancing underwater images to get realistic results. A new method for simulating underwater-like training dataset from RGB-D data by underwater image formation model is proposed. Upon the synthetic dataset, a novel enhancement framework, which introduces a domain adaptive mechanism as well as a physics model constraint feedback control, is trained to enhance the underwater scenes. Final enhanced results on synthetic and real underwater images demonstrate the superiority of the proposed method, which outperforms nondeep and deep learning methods in both qualitative and quantitative evaluations. Furthermore, we perform an ablation study to show the contributions of each component we proposed.

연구 동기 및 목표

• 빛 흡수 및 산산이 흩어짐으로 인해 발생하는 저대비도, 색상 왜곡, 흐림 현상 등의 문제를 해결하기 위해.
• 수중 영상 향상에서 감독 학습을 위한 실제 쌍체 훈련 데이터의 부족 문제를 해결하기 위해.
• GAN 프레임워크에 도메인 적응을 도입하여 다양한 수중 환경 간의 일반화 능력을 향상시키기 위해.
• 감쇠 및 산산이 흩어짐 등의 물리적 매개변수를 사용하여 생성기의 출력을 제약하는 물리 기반 피드백 제어 메커니즘을 통합하여 현실성과 물리적 타당성을 향상시키기 위해.

제안 방법

• RGB-D 입력에서 수중 특성을 시뮬레이션한 산산이 흩어짐 및 흡수 효과를 고려한 새로운 수중 영상 형성 모델을 사용하여 현실적인 수중 유사 훈련 데이터를 합성한다.
• 실제 수중 영상과 합성 수중 영상 간의 특징을 정렬하기 위해 도메인 적응 메커니즘을 통합한 조건부 생성 대안 신경망(cGAN)을 훈련한다.
• 감쇠 및 산산이 흩어짐 등의 물리적 매개변수를 사용하여 생성기의 출력을 제약하는 물리 모델 기반 피드백 제어 시스템을 도입한다.
• 구조적 및 의미적 일致성을 유지하기 위해 적대적 손실, 픽셀 단위 재구성 손실, 인지적 손실을 조합하여 프레임워크를 구성한다.
• 실제 수중 영상와 합성 수중 영상 간의 도메인 차이를 최소화하기 위해 도메인 구분자(discriminator)를 통해 도메인 적응을 구현한다.
• 최종 모델은 GAN 손실, 재구성 손실, 인지적 손실, 물리 피드백을 포함한 복합 손실을 통합하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 물리 기반 피드백 메커니즘이 향상된 수중 영상의 현실성과 물리적 일致성을 향상시키는 데 효과적인가?
• RQ2 훈련 중에 합성 수중 영상와 실제 수중 영상 간의 도메인 차이를 줄이기 위해 도메인 적응이 얼마나 효과적인가?
• RQ3 물리 제약 조건과 적대적 학습을 조합할 경우, 기존의 표준 GAN 또는 감독 기반 기준선 대비 향상 성능을 달성하는가?
• RQ4 개별 구성 요소(도메인 적응, 물리 피드백, 픽셀 손실)가 최종 향상 품질에 기여하는 정도는 어느 정도인가?

주요 결과

• 제안된 방법은 실제 수중 영상에서 UIQM 점수 5.0874를 달성하여 비교된 모든 방법보다 뚜렷하게 뛰어난 성능을 보였다.
• 제거 실험을 통해 도메인 적응과 물리 기반 피드백 제어가 최종 성능 향상에 상당한 기여를 한다는 것이 확인되었으며, 양측을 모두 포함했을 때 UIQM 점수가 0.53 증가하였다.
• 20명의 숙련된 참가자들이 수행한 주관적 평가에서 제안된 방법이 가장 높은 평균 점수(8.7/10)를 기록하여 시각적 품질과 자연스러움 측면에서 열등한 우수성을 보였다.
• 색상 왜곡을 효과적으로 줄이고 대비와 선명도를 향상시켰으며, 이는 높은 UISM(6.7606) 및 UIConM(0.8528) 값으로 확인되었다.
• 영상 형성 모델을 통해 생성된 합성 데이터셋은 실제 수중 환경으로의 효과적인 일반화와 훈련에 기여하였다.
• 깊이, 입자 농도, 조도 등 다양한 수중 조건에서도 프레임워크가 강건함을 입증하였다.