[논문 리뷰] Perceptual underwater image enhancement with deep learning and physical priors

Long Chen, Zheheng Jiang외 6명|arXiv (Cornell University)|2020. 08. 21.

Image Enhancement Techniques참고 문헌 35인용 수 7

한 줄 요약

이 논문은 물체 검출 피드백을 감지 기반 인식 손실을 통해 수중 영상 강화에 통합하는 두 가지 검출 기반 강화 모델을 제안한다. 이는 시각적으로 매력적이거나 검출에 유리한 이미지를 생성하도록 지도하는 인지 손실을 사용한다. 물리적 사전 지식과 데이터 기반 신호를 융합한 하이브리드 수중 영상 합성 모델을 통해 강력한 훈련이 가능하며, 통합된 HybridDetectionGAN 프레임워크는 영상 품질과 검출 정확도(mAP) 측면에서 합성 및 실세계 데이터셋 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Underwater image enhancement, as a pre-processing step to improve the accuracy of the following object detection task, has drawn considerable attention in the field of underwater navigation and ocean exploration. However, most of the existing underwater image enhancement strategies tend to consider enhancement and detection as two independent modules with no interaction, and the practice of separate optimization does not always help the underwater object detection task. In this paper, we propose two perceptual enhancement models, each of which uses a deep enhancement model with a detection perceptor. The detection perceptor provides coherent information in the form of gradients to the enhancement model, guiding the enhancement model to generate patch level visually pleasing images or detection favourable images. In addition, due to the lack of training data, a hybrid underwater image synthesis model, which fuses physical priors and data-driven cues, is proposed to synthesize training data and generalise our enhancement model for real-world underwater images. Experimental results show the superiority of our proposed method over several state-of-the-art methods on both real-world and synthetic underwater datasets.

연구 동기 및 목표

• 수중 환경에서 영상 강화 품질과 후속 객체 검출 성능 사이의 부정렬 문제를 해결한다.
• 강화와 검출 작업을 별도로 최적화할 경우 시각적 품질은 향상되지만 검출 정확도는 최적화되지 않는 한계를 극복한다.
• 딥러닝 기반 수중 영상 강화를 위한 실세계 쌍화된 훈련 데이터 부족 문제를 해결하기 위해 현실적인 훈련 이미지를 합성한다.
• 영상 합성, 강화, 검출 인식을 종합적으로 최적화하는 통합 프레임워크를 개발하여 엔드 투 엔드 학습을 가능하게 한다.
• 고품질의 공기 중 영상 특징을 캡처하는 검출 기반 인식자(Perceptor)를 통해 강화 과정을 지도하여 검출 정확도를 향상시킨다.

제안 방법

• 패치 수준의 인지 손실을 사용하는 패치 검출 인식자와 객체 중심의 인지 손실을 사용하는 객체 중심 검출 인식자를 도입한다.
• 검출 인식자에서 유도된 기울기를 피드백으로 사용하여 강화 모델을 지도함으로써 세부 정보 및 검출에 유리한 특징에 대한 지식을 전달한다.
• 물리적 사전 지식(예: 빛 감쇠, 산란)과 데이터 기반 딥 제너레이티브 구성 요소를 융합한 하이브리드 수중 영상 합성 모델을 제안하여 현실적인 훈련 데이터를 생성한다.
• 합성 모델, 강화 모델, 검출 인식자를 통합한 엔드 투 엔드 프레임워크인 HybridDetectionGAN을 설계하여 공동 최적화를 수행한다.
• 검출 인식자에서 유도된 인지 손실을 사용하여 강화 모델을 훈련함으로써 강화된 이미지가 객체 검출에 유리하도록 보장한다.
• 사전에 고품질의 공기 중 영상에서 훈련된 검출 네트워크를 활용하여 검출 관련 특징을 추출하고, 이를 강화 과정의 지도로 활용한다.

실험 결과

연구 질문

• RQ1 검출 피드백을 영상 강화 과정에 통합하면 수중 환경에서 후속 객체 검출 정확도가 향상되는가?
• RQ2 표준 영상 품질 측정 지표가 수중 영상 강화에서 검출 성능과 어느 정도 상관이 있는가?
• RQ3 물리적 사전 지식과 딥 러닝을 융합한 하이브리드 합성 모델이 실세계 수중 영상에 더 잘 일반화되는 훈련 데이터를 생성할 수 있는가?
• RQ4 합성, 강화, 검출 인식의 엔드 투 엔드 공동 최적화가 별도의 훈련 파이프라인보다 더 높은 성능을 낼 수 있는가?
• RQ5 검출 인식자에서 유도된 인지 손실이 전통적인 인지 손실 또는 GAN 기반 손실보다 검출에 유리한 특징을 강화하는 데 더 효과적인가?

주요 결과

• 제안된 객체 중심 인지 강화 모델(OursOF)은 MultiviewUnderwater 및 ChainMM 데이터셋에서 모든 카테고리에서 최고의 mAP를 기록하며 최신 기술 수준의 방법들을 능가한다.
• ChinaMM 데이터셋에서 OursOF는 UCIQE 및 UIQM 등 일부 다른 방법들이 향상시킨 이미지 품질 지표에도 불구하고 최고의 mAP(86.6%)를 기록하여 이미지 품질과 검출 성능 사이의 괴리가 있음을 시사한다.
• 하이브리드 합성 모델은 실세계 수중 환경으로의 일반화 능력을 향상시켜 실데이터셋에서 일관된 성능 향상을 입증한다.
• 표준 영상 품질 지표(예: PSNR, MSE, UCIQE)와 mAP 사이에 강한 상관관계가 없음을 확인하여, 검출 작업에서의 강화 성능 평가를 위해 영상 품질 평가만으로는 부족하다는 것을 시사한다.
• OursOF와 OursPatch는 UICM 및 UICONM 점수에서 상위 2개를 기록하여 고대비 및 강화된 객체 특징이 검출에 유리함을 시사한다.
• 검출 인식자 기반 접근법은 Fusion 및 Retinex와 같은 전통적인 강화 방법보다 검출 정확도를 크게 향상시키며, 노이즈가 많거나 대비가 낮은 객체를 놓치는 경향이 있는 것을 보완한다.