[논문 리뷰] Physics Informed and Data Driven Simulation of Underwater Images via Residual Learning

Tanmoy Mondal, Ricardo Mendoza외 1명|arXiv (Cornell University)|2024. 02. 07.

Seismic Imaging and Inversion TechniquesEarth and Planetary Sciences인용 수 3

한 줄 요약

이 논문은 기존의 이미지 형성 모델과 모델링되지 않은 물리적 효과를 포착하는 잔차 학습 네트워크를 조합함으로써 현실적인 수중 영상 열화를 시뮬레이션하는 물리 기반의 데이터 기반 딥러닝 프레임워크를 제안한다. 방법은 RGB 영상에서 깊이를 추정하고, 복잡한 이미지 형성 모델을 통해 지표를 생성하며, 순수 데이터 기반 모델보다 더 높은 해석 가능성과 미분 가능성으로 현실적인 수중 왜곡을 시뮬레이션하는 데 성공한다.

ABSTRACT

In general, underwater images suffer from color distortion and low contrast, because light is attenuated and backscattered as it propagates through water (differently depending on wavelength and on the properties of the water body). An existing simple degradation model (similar to atmospheric image "hazing" effects), though helpful, is not sufficient to properly represent the underwater image degradation because there are unaccounted for and non-measurable factors e.g. scattering of light due to turbidity of water, reflective characteristics of turbid medium etc. We propose a deep learning-based architecture to automatically simulate the underwater effects where only a dehazing-like image formation equation is known to the network, and the additional degradation due to the other unknown factors if inferred in a data-driven way. We only use RGB images (because in real-time scenario depth image is not available) to estimate the depth image. For testing, we have proposed (due to the lack of real underwater image datasets) a complex image formation model/equation to manually generate images that resemble real underwater images (used as ground truth). However, only the classical image formation equation (the one used for image dehazing) is informed to the network. This mimics the fact that in a real scenario, the physics are never completely known and only simplified models are known. Thanks to the ground truth, generated by a complex image formation equation, we could successfully perform a qualitative and quantitative evaluation of proposed technique, compared to other purely data driven approaches

연구 동기 및 목표

• 표준 대기 모델을 초월하는 측정되지 않은 복잡한 물리적 요인을 고려한 현실적인 수중 영상 열화 시뮬레이션을 개발하는 것.
• 역문제(예: 영상 복원)에 사용할 수 있는 다양한 해석 가능하고, 미분 가능한 수중 이미지 형성의 딥러닝 에뮬레이터를 만드는 것.
• 실제 세계의 상황에서 비용이 많이 드는 RGB-D 센서에 의존하지 않고도 RGB 영상과 추정된 깊이만을 사용하여 모델을 훈련시키는 것.
• 복잡한 이미지 형성 모델을 사용하여 청소년-열화 영상 쌍의 합성 데이터셋을 생성하여 훈련 및 평가의 지표로 사용하는 것.
• Pix2Pix, CycleGAN 등 순수 데이터 기반의 이미지 간 변환 모델보다 수중 영상 효과를 더 현실적으로 시뮬레이션하면서도 물리적 타당성을 유지하는 성능을 확보하는 것.

제안 방법

• 심층 신경망 아키텍처는 기존의 고정된 고전적 이미지 형성 방정식(안개 제거와 유사)과 모델링되지 않은 열화 요인을 모델링하기 위한 잔차 학습 브랜치를 결합한다.
• 깊이 맵은 학습된 인코더-디코더 네트워크를 사용하여 RGB 영상에서 추정되며, 이는 물리 기반 성분이 직접적인 깊이 입력 없이 적용될 수 있도록 한다.
• 복잡하고 다중 구성 요소로 이루어진 이미지 형성 모델은 수동으로 설계되어 실제 수중 열화를 시뮬레이션하는 현실적인 수중 영상 쌍을 생성하는 데 사용된다.
• 실제 색상, 대비, 구조적 무결성 확보를 위해 적대적, 인지적, 재구성 손실의 조합을 사용하여 네트워크를 훈련시킨다.
• 잔차 학습 구성 요소는 단순한 물리 모델 출력과 지표 사이의 차이를 학습하여 누락된 산산이 흩어짐과 탁도 효과를 포착한다.
• 트레이닝된 모델은 PyTorch를 통해 완전히 미분 가능하며, 최적화를 통한 수중 영상 복원과 같은 역문제 해결에 활용될 수 있다.

실험 결과

연구 질문

• RQ1 단순한 물리 모델과 RGB 영상만을 이용할 때 딥러닝 모델이 수중 영상 열화를 효과적으로 시뮬레이션할 수 있는가?
• RQ2 복잡한 이미지 형성 모델을 사용해 생성된 합성 데이터로 훈련된 잔차 학습 네트워크가 탁도와 산산이 흩어짐과 같은 측정되지 않은 물리적 효과를 얼마나 잘 포착할 수 있는가?
• RQ3 기존의 순수 데이터 기반 접근 방식에 비해 알려진 물리 모델을 통합함으로써 시뮬레이션된 수중 영상의 현실성과 해석 가능성은 어느 정도 향상되는가?
• RQ4 훈련된 모델이 수중 영상 복원과 같은 역문제를 해결하기 위한 다양한 해석 가능한 물리 기반 에뮬레이터로 사용될 수 있는가?
• RQ5 제안된 방법은 Pix2Pix와 CycleGAN과 같은 최신 기술의 이미지 간 변환 모델에 비해 수중 열화를 얼마나 잘 시뮬레이션하는가?

주요 결과

• 제안된 방법은 Pix2Pix와 CycleGAN과 같은 순수 데이터 기반 모델보다 복잡한 산산이 흩어짐과 색상 왜곡을 더 잘 포착함으로써 현실적인 수중 영상 열화를 더 잘 시뮬레이션한다.
• 제안된 아키텍처의 버전-2는 모든 지표에서 핵심 기술과 버전-1을 일관되게 따라하거나 초월하며, 아키텍처 변형에 대한 강건성을 보여준다.
• 완벽한 색상 복원이 이루어지지 않더라도 강한 수중 흐림과 색상 이동 효과를 효과적으로 시뮬레이션함으로써 열화 모델링의 효과성을 입증한다.
• 지표를 생성하기 위해 복잡한 이미지 형성 모델을 사용함으로써 실제 수중 데이터셋이 없음에도 불구하고 고품질의 훈련과 신뢰할 수 있는 평가가 가능해졌다.
• 훈련된 모델는 완전히 미분 가능하므로, 영상 복원과 같은 역문제 해결에 다양한 해석 가능한 물리 기반 에뮬레이터로 활용될 수 있으며, 이는 블랙박스 모델에 비해 핵심적인 이점이다.
• 물리 기반 사전 지식과 데이터 기반 잔차 학습을 조합함으로써 순수 데이터 기반 대안보다 더 해석 가능하고 일반화 가능한 시뮬레이터를 도출할 수 있음을 입증했다.