[논문 리뷰] Jointly Adversarial Network to Wavelength Compensation and Dehazing of Underwater Images

Xueyan Ding, Yafei Wang외 4명|arXiv (Cornell University)|2019. 07. 12.

Image Enhancement Techniques참고 문헌 43인용 수 15

한 줄 요약

이 논문은 생성적 적대적 네트워크에 간소화된 수중 영상 형성 모델을 통합하여 동시에 파장 보정과 해저징을 수행하는 공동 적대적 네트워크(JWCDN)를 제안한다. 다중 척도 밀집 연결 인코더-디코더와 기울기 보존 손실을 사용하여 전달도 지도, 파장 감쇠, 배경 빛을 공동으로 추정함으로써 합성 및 실세계 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Severe color casts, low contrast and blurriness of underwater images caused by light absorption and scattering result in a difficult task for exploring underwater environments. Different from most of previous underwater image enhancement methods that compute light attenuation along object-camera path through hazy image formation model, we propose a novel jointly wavelength compensation and dehazing network (JWCDN) that takes into account the wavelength attenuation along surface-object path and the scattering along object-camera path simultaneously. By embedding a simplified underwater formation model into generative adversarial network, we can jointly estimates the transmission map, wavelength attenuation and background light via different network modules, and uses the simplified underwater image formation model to recover degraded underwater images. Especially, a multi-scale densely connected encoder-decoder network is proposed to leverage features from multiple layers for estimating the transmission map. To further improve the recovered image, we use an edge preserving network module to enhance the detail of the recovered image. Moreover, to train the proposed network, we propose a novel underwater image synthesis method that generates underwater images with inherent optical properties of different water types. The synthesis method can simulate the color, contrast and blurriness appearance of real-world underwater environments simultaneously. Extensive experiments on synthetic and real-world underwater images demonstrate that the proposed method yields comparable or better results on both subjective and objective assessments, compared with several state-of-the-art methods.

연구 동기 및 목표

• 빛 흡수와 산산이 흩어짐으로 인해 발생하는 수중 영상의 색상 왜곡과 시야 감소 문제를 해결한다.
• 이전 방법들이 산산이 흩어짐 또는 흡수를 별도로 모델링하는 데 한계가 있었음을 고려해, 두 물리적 과정을 동시에 모델링함으로써 개선한다.
• 기본 광학 특성 기반의 새로운 수중 영상 합성 방법을 개발하여 다양한 수질에서 실제감 있는 열화를 시뮬레이션한다.
• 기울기 보존 손실과 에지 강화 모듈을 통해 에지와 질감을 보존함으로써 영상 품질을 향상시킨다.
• 최신 기술 수준의 방법들과 비교해 주관적 및 객관적 평가에서 뛰어난 성능을 달성한다.

제안 방법

• 생성적 적대적 네트워크 아키텍처에 간소화된 수중 영상 형성 모델을 통합하여 전달도 지도, 파장 감쇠, 배경 빛을 전용 네트워크 모듈을 통해 공동으로 추정한다.
• 기울기 보존 손실을 적용한 다중 척도 밀집 연결 인코더-디코더 네트워크를 설계하여 전달도 지도 추정 성능을 향상시키고 허브 아티팩트를 감소시킨다.
• 세부 정보를 정밀하게 보정하고 복구된 영상의 선명도를 복원하기 위해 에지 보존 네트워크 모듈을 도입한다.
• 흡수 및 산산이 흩어짐 계수와 같은 기본 광학 특성(흡수 및 산산이 흩어짐 계수)을 사용하여 실제감 있는 색조 변화, 대비 저하 및 흐림 현상을 다양한 수질에서 시뮬레이션하는 새로운 수중 영상 합성 방법을 제안한다.
• 실재성과 구조적 충실도를 향상시키기 위해 인지적, 적대적, 콘텐츠 보존 손실의 조합을 사용해 네트워크를 훈련시킨다.
• 수학 연산 모듈을 활용해 물리적 영상 형성 모델을 GAN 아키텍처에 직접 통합하여 엔드 투 엔드 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 딥러닝 프레임워크가 별도 처리보다 수중 영상에서 파장 보정과 해저징을 더 효과적으로 공동 최적화할 수 있는가?
• RQ2 표면-객체 경로 감쇠와 객체-카메라 경로 산산이 흩어짐을 모두 모델링할 경우, 단일 과정만 모델링하는 것보다 영상 복원 성능이 향상되는가?
• RQ3 물리적 사전 지식을 갖춘 GAN 기반 접근 방식이 기존 최신 기술 수준의 방법들과 비교해 정량적 및 정성적 평가에서 뛰어난 성능을 보일 수 있는가?
• RQ4 기본 광학 특성 기반의 합성 방법이 보다 현실적인 수중 영상을 생성하여 강화 네트워크의 훈련과 평가에 더 유리한가?
• RQ5 다중 척도 밀집 연결 인코더-디코더와 에지 보존 모듈이 전달도 지도 추정 및 최종 영상 품질에 기여하는 정도는 어느 정도인가?

주요 결과

• 제안된 JWCDN은 RealB 데이터셋에서 블러 지표(0.21473)가 가장 낮고 UIQM(1.5372)가 가장 높아 비교된 모든 방법들을 능가했다.
• RealA 데이터셋에서 JWCDN은 블러 지표 0.21818과 UIQM 1.574를 기록하여 객관적 및 주관적 품질 측면에서 뛰어난 성능을 보였다.
• 제거 실험 결과, 콘텐츠 보존 손실을 제거한 경우(JWCDN-woCL) 블러가 증가했고, 에지 보존 모듈을 제거한 경우(JWCDN-woEP) 색상 왜곡과 과도하게 밝은 영역이 발생했다.
• SyntTest 데이터셋에서의 정량적 결과로 JWCDN은 PSNR 21.096, SSIM 0.75712, PCQI 0.76362를 기록하여 핵심 모듈 없이 제안된 변형들보다 뚜렷이 뛰어난 성능을 보였다.
• 제안된 수중 영상 합성 방법은 다양한 수질에서 실제감 있는 열화 패턴을 성공적으로 시뮬레이션하여 더 강력한 훈련과 평가를 가능하게 했다.
• 시각적 비교 결과, JWCDN은 Retinex 기반, GDCP, UDCP, IBLA 및 UGAN 방법들과 비교해 더 선명한 에지, 더 나은 색상 복원, 감소된 허브 효과를 보였다.