[논문 리뷰] A Semi-supervised Physics-Aware Triple-Stream Underwater Image Enhancement Network

Xu, Shixuan, Hao Qi외 5명|arXiv (Cornell University)|2023. 07. 21.

Image Enhancement TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 물속 영상 형성 모델(IFM)을 기반으로 전달성 및 환경광 파rameter를 명시적으로 추정하는 물리적 인식(semi-supervised) 이중 스트림 네트워크인 PA-UIENet을 제안한다. 전달성 추정 스트림(T-Stream)과 환경광 추정 스트림(A-Stream)을 통해 수행되며, 라벨이 부여된 데이터와 라벨이 없는 데이터를 모두 활용한 IFM 기반의 반감독 학습 프레임워크를 통합함으로써, 다양한 실제 수중 환경에서의 수중 영상 향상에서 최신 기술 수준의 성능을 달성하였다. 이는 다섯 개인 실제 데이터셋에서 여덟 개의 베이스라인을 초월하며 일반화 능력과 다양한 수중 환경에 대한 강건성을 향상시켰다.

ABSTRACT

Underwater images normally suffer from degradation due to the transmission medium of water bodies. Both traditional prior-based approaches and deep learning-based methods have been used to address this problem. However, the inflexible assumption of the former often impairs their effectiveness in handling diverse underwater scenes, while the generalization of the latter to unseen images is usually weakened by insufficient data. In this study, we leverage both the physics-based Image Formation Model (IFM) and deep learning techniques for Underwater Image Enhancement (UIE). To this end, we propose a novel Physics-Aware Triple-Stream Underwater Image Enhancement Network, i.e., PATS-UIENet, which comprises a Direct Signal Transmission Estimation Stream (D-Stream), a Backscatter Signal Transmission Estimation Stream (B-Stream) and an Ambient Light Estimation Stream (A-Stream). This network fulfills the UIE task by explicitly estimating the degradation parameters of a revised IFM. We also adopt an IFM-inspired semi-supervised learning framework, which exploits both the labeled and unlabeled images, to address the issue of insufficient data. To our knowledge, such a physics-aware deep network and the IFM-inspired semi-supervised learning framework have not been used for the UIE task before. Our method performs better than, or at least comparably to, sixteen baselines across four testing sets in the degradation estimation and UIE tasks. These promising results should be due to the fact that the proposed method can not only model the degradation but also learn the characteristics of diverse underwater scenes.

연구 동기 및 목표

• 유연한 가정에 의존하는 기존의 전처리 기반 방법들이 다양한 수중 환경에서 실패하는 문제를 해결하기 위해.
• 딥러닝 기반 수중 영상 향상(UIE)에서의 데이터 부족 문제를 해결하기 위해, 라벨이 부여된 실제 이미지와 라벨이 없는 이미지를 모두 활용하기 위해.
• 물리 기반 수중 영상 형성 모델(IFM)을 사용하여 열악한 조건에서의 열악한 파rameter를 명시적으로 모델링함으로써 모델의 일반화 능력을 향상시키기 위해.
• 양방향 지도 학습과 비지도 열악화 학습을 융합한 새로운 반감독 학습 프레임워크를 개발하여, 훈련의 안정성과 성능을 향상시키기 위해.

제안 방법

• 이 방법은 이중 스트림 아키텍처를 사용한다: 전달성 추정 스트림(T-Stream)과 환경광 추정 스트림(A-Stream)으로, 둘 다 입력된 열악한 영상에서 IFM 파rameter를 예측하도록 훈련된다.
• T-Stream은 채널별 전달성 맵 $ t^c(x) = \exp(-\beta^c d(x)) $ 를 추정하며, 여기서 $ \beta^c $ 는 감쇠 계수이고 $ d(x) $ 는 장면 거리 맵이다.
• A-Stream은 환경광 $ A^c $ 를 추정하며, 이는 수중 영상에서의 전반적인 조명 열악화와 대trast 손실을 설명한다.
• IFM 기반의 반감독 학습 프레임워크를 도입하여, 양방향 지도 학습(전방향 향상 및 후방향 열악화)과 라벨이 없는 데이터를 활용한 비지도 학습을 융합한다.
• 이 프레임워크는 라벨이 있는 데이터를 통한 감독과, 라벨이 없는 데이터를 통한 자기 감독(열악화 재구성)을 통해 훈련을 향상시키며, 과적합을 줄이고 일반화 능력을 향상시킨다.
• 특히 빨간색 채널이 열악화에 더 민감하므로, 특징 표현과 강건성을 향상시키기 위해 잔차 채널 변환(RCT) 모듈을 통합하였다.

실험 결과

연구 질문

• RQ1 물리 기반의 IFM 파rameter(전달성 및 환경광)를 명시적으로 추정하는 물리적 인식 딥러닝 모델이 기존의 전처리 기반 및 딥러닝 기반 UIE 방법보다 우월한 성능을 보일 수 있는가?
• RQ2 반감독 학습 프레임워크를 통해 라벨이 부여된 실제 수중 영상과 라벨이 없는 영상 데이터를 함께 활용할 경우, 데이터가 적은 환경에서 모델의 일반화 능력은 어떻게 향상되는가?
• RQ3 양방향 지도 학습과 비지도 열악화 학습을 융합한 방식이 순수하게 지도 학습 또는 비지도 학습 방식보다 훈련의 안정성과 성능을 얼마나 향상시키는가?
• RQ4 잔차 채널 변환(RCT) 모듈의 통합은 특히 수중 열악화에 가장 영향을 받는 빨간색 채널의 강건성을 향상시키는가?

주요 결과

• Michmoret 서브셋에서 PA-UIENet는 최고의 PCC(0.71)와 가장 낮은 $ \bar{\psi} $(11.51)를 기록하였으며, 전달성 추정 및 색상 복원에서 모든 베이스라인을 크게 능가하였다.
• Katzaa 서브셋에서, 이 방법은 PCC 0.48과 $ \bar{\psi} $ 8.75를 기록하여 열악한 파rameter 추정 및 영상 향상에서 강력한 성능을 보였다.
• 제거 실험 결과, RCT 모듈을 추가함으로써 전달성 추정 성능(PCC -0.15 → 0.58)과 영상 품질(PSNR 22.16 → 22.97)이 향상되어 강건성이 향상됨을 확인하였다.
• 반감독 학습 프레임워크(w/ Semi-Sup)는 Michmoret 서브셋에서 최고의 PCC(0.71)를 기록하였으며, 단순화된 버전을 능가하였고, 약간 낮은 PSNR와 SSIM에도 불구하고 일반화 능력 향상이 확인되었다.
• Satil 서브셋에서는 모든 방법이 어려움을 겪었지만, 본 방법은 PCC 0.04와 $ \bar{\psi} $ 13.46을 기록하여 모든 베이스라인 중에서 가장 우수한 성능을 보였으며, 도전적인 환경에 대한 강건성을 입증하였다.
• 모든 다섯 개의 테스트 세트에서 본 방법은 모든 베이스라인을 능가하거나 동등하게 유지하며, 다양한 수중 환경과 열악한 패턴을 다루는 데서의 효과성을 확인하였다.