[논문 리뷰] Single Underwater Image Enhancement Using an Analysis-Synthesis Network

Zhengyong Wang, Liquan Shen외 3명|arXiv (Cornell University)|2021. 08. 20.

Image Enhancement Techniques참고 문헌 36인용 수 9

한 줄 요약

이 논문은 분석-합성 네트워크를 사용하여 학습된 사전 지식과 데이터 기반 특징을 융합하는 새로운 수중 영상 향상 프레임워크인 ANA-SYN을 제안한다. 더 현실적인 수중 데이터셋을 위해 개선된 환경 조명 합성 식을 도입하고, 적응형 가중치 모듈과 사전 지도 네트워크를 활용하여, 합성 및 실세계 벤치마크에서 모두 최신 기술 수준의 성능을 달성하며, 자연스러운 영상 품질을 유지하면서 색상 보정과 안개 제거를 크게 향상시킨다.

ABSTRACT

Most deep models for underwater image enhancement resort to training on synthetic datasets based on underwater image formation models. Although promising performances have been achieved, they are still limited by two problems: (1) existing underwater image synthesis models have an intrinsic limitation, in which the homogeneous ambient light is usually randomly generated and many important dependencies are ignored, and thus the synthesized training data cannot adequately express characteristics of real underwater environments; (2) most of deep models disregard lots of favorable underwater priors and heavily rely on training data, which extensively limits their application ranges. To address these limitations, a new underwater synthetic dataset is first established, in which a revised ambient light synthesis equation is embedded. The revised equation explicitly defines the complex mathematical relationship among intensity values of the ambient light in RGB channels and many dependencies such as surface-object depth, water types, etc, which helps to better simulate real underwater scene appearances. Secondly, a unified framework is proposed, named ANA-SYN, which can effectively enhance underwater images under collaborations of priors (underwater domain knowledge) and data information (underwater distortion distribution). The proposed framework includes an analysis network and a synthesis network, one for priors exploration and another for priors integration. To exploit more accurate priors, the significance of each prior for the input image is explored in the analysis network and an adaptive weighting module is designed to dynamically recalibrate them. Meanwhile, a novel prior guidance module is introduced in the synthesis network, which effectively aggregates the prior and data features and thus provides better hybrid information to perform the more reasonable image enhancement.

연구 동기 및 목표

• 기존의 합성 수중 데이터셋이 RGB 채널 간의 복잡한 환경 조명 의존성을 제대로 모델링하지 못하는 한계를 해결하기 위해.
• 심층 학습 모델에 도메인 전용 사전 지식을 통합하여 대규모 실데이터에 대한 의존도를 줄이기 위해.
• 입력 영상 특성에 기반해 다중 사전 지식(색조, 수질 유형, 구조)의 중요도를 동적으로 校정함으로써 영상 향상 성능을 향상시키기 위해.
• 사전 지식과 데이터 기반 특징을 효과적으로 융합하는 통합 프레임워크를 개발하여 강력한 수중 영상 복원 능력을 확보하기 위해.
• 정밀한 분석 및 비교 실험을 통해 합성 및 실세계 수중 영상 벤치마크에서 뛰어난 성능을 입증하기 위해.

제안 방법

• RGB 강도 값, 수질 유형, 흡수/산산분포 계수, 물체의 깊이 간의 복잡한 관계를 모델링하기 위해 개선된 환경 조명 합성 식을 도입한다.
• ANA-SYN 프레임워크는 사전 탐색 및 적응형 가중치 설정을 위한 분석 네트워크와 사전 통합 및 영상 복원을 위한 합성 네트워크로 구성된다.
• 적응형 가중치 모듈은 입력 영상의 맥락에 기반해 각 사전 지식(색조, 수질 유형, 구조)의 중요도를 재보정하여 특징의 구분 능력을 향상시킨다.
• 새로운 사전 지도 모듈은 학습 가능한 융합 방식을 통해 사전 지식 및 데이터 특징을 통합하여, 모델이 현실적이고 고품질의 출력을 생성하는 능력을 향상시킨다.
• 구조적이고 색상 품질을 향상시키기 위해 L1, 인지적, 적대적 손실을 조합한 다중 손실 목표 함수를 사용해 프레임워크를 훈련시킨다.
• 개선된 환경 조명 모델을 사용하여 더 현실적인 훈련 데이터를 반영하는 새로운 합성 수중 데이터셋을 구축한다.

실험 결과

연구 질문

• RQ1 RGB 채널 간의 상호의존성과 환경 요인을 모델링하는 개선된 환경 조명 합성 식이 더 현실적인 수중 훈련 데이터를 생성할 수 있는가?
• RQ2 색조, 수질 유형, 구조 등의 다중 도메인 전용 사전 지식을 통합할 경우, 순수한 데이터 기반 학습에 비해 수중 영상 향상 성능가 향상되는가?
• RQ3 입력 영상 특성에 따라 사전 지식의 중요도를 동적으로 재보정하는 적응형 가중치 모듈이 모델 성능과 일반화 능력을 얼마나 향상시키는가?
• RQ4 제안된 사전 지도 모듈이 사전 지식과 데이터 특징을 융합하여 우수한 영상 복원 성능을 내는 데 얼마나 효과적인가?
• RQ5 ANA-SYN 프레임워크가 합성 및 실세계 수중 영상 벤치마크에서 기존 최신 기술 수준의 방법들을 초월하는가?

주요 결과

• 개선된 환경 조명 식을 사용해 생성된 제안된 합성 데이터셋은 색상, 대비, 블러 특성 측면에서 실제 수중 영상에 훨씬 더 가까운 결과를 제공한다.
• ANA-SYN 프레임워크는 다섯 개의 실세계 수중 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 색조, 수질 유형, 구조 사전 지식을 각각 사용할 경우 기준 모델 대비 평균 PSNR 및 SSIM 향상이 각각 0.733dB, 0.955dB, 0.615dB에 달한다.
• 적응형 가중치 모듈은 사전 지식를 직접 연결하거나 덧셈하는 것보다 성능을 0.05–0.15dB 향상시키며, 동적 사전 지식 보정의 효과를 입증한다.
• 사전 지도 모듈은 특징 융합 능력을 향상시켜 더 자연스러운 결과를 도출하며, UIQM 및 NIQE 점수 향상을 통해 현실적인 향상 효과를 확인한다.
• 훈련 중 인지적 손실을 포함시킴으로써 빌드업된 시각적 품질이 향상되었으며, 실제 벤치마크에서 더 높은 인지 점수와 더 나은 색상 현실감을 입증한다.
• ANA-SYN은 중간 수준의 모델 복잡도로도 뛰어난 성능을 달성하였으며, Ucolor 및 Water-Net보다 적은 파라미터 수와 FLOPs를 사용하고, UGAN보다 빠른 추론 속도를 확보하였으며, 크기가 더 작은 FUIE-GAN을 뛰어넘는 성능을 보였다.