[論文レビュー] Physics Informed and Data Driven Simulation of Underwater Images via Residual Learning

Tanmoy Mondal, Ricardo Mendoza+1 more|arXiv (Cornell University)|Feb 7, 2024

Seismic Imaging and Inversion TechniquesEarth and Planetary Sciences被引用数 3

ひとこと要約

本論文は、既知の画像形成モデルと、未モデル化された物理的要因を捉える残留学習ネットワークを組み合わせることで、現実的な水中画像劣化をシミュレートする、物理学的制約付きのデータ駆動型ディープラーニングフレームワークを提案する。この手法はRGB画像から深度を推定し、高精度な画像形成モデルを用いて真値を生成するが、純粋にデータ駆動型のモデルに比べて、解釈可能性と微分可能性が向上した現実的な水中歪みをシミュレートする点で優れている。

ABSTRACT

In general, underwater images suffer from color distortion and low contrast, because light is attenuated and backscattered as it propagates through water (differently depending on wavelength and on the properties of the water body). An existing simple degradation model (similar to atmospheric image "hazing" effects), though helpful, is not sufficient to properly represent the underwater image degradation because there are unaccounted for and non-measurable factors e.g. scattering of light due to turbidity of water, reflective characteristics of turbid medium etc. We propose a deep learning-based architecture to automatically simulate the underwater effects where only a dehazing-like image formation equation is known to the network, and the additional degradation due to the other unknown factors if inferred in a data-driven way. We only use RGB images (because in real-time scenario depth image is not available) to estimate the depth image. For testing, we have proposed (due to the lack of real underwater image datasets) a complex image formation model/equation to manually generate images that resemble real underwater images (used as ground truth). However, only the classical image formation equation (the one used for image dehazing) is informed to the network. This mimics the fact that in a real scenario, the physics are never completely known and only simplified models are known. Thanks to the ground truth, generated by a complex image formation equation, we could successfully perform a qualitative and quantitative evaluation of proposed technique, compared to other purely data driven approaches

研究の動機と目的

• 標準的大気モデルを超える、複雑で測定不能な物理的要因を考慮した現実的な水中画像劣化のシミュレーションを開発すること。
• 逆問題（例：画像修復）に使用可能な微分可能で解釈可能な水中画像形成のディープラーニングエミュレータを構築すること。
• 実世界の状況において高価なRGB-Dセンサに依存しないで、RGB画像と推定深度のみを用いてモデルを訓練すること。
• 複雑な画像形成モデルを用いて、クリーン画像と劣化画像のペアから合成データセットを生成し、学習と評価の真値として用いること。
• Pix2Pix や CycleGAN などの純粋にデータ駆動型の画像対画像変換モデルに比べ、水中画像効果のシミュレーションにおいて現実性を高めつつ物理的妥当性を維持する点で優れていること。

提案手法

• ハードコーディングされた古典的画像形成方程式（除霧と類似）と、未考慮の劣化要因をモデル化する残留学習ブランチを組み合わせたディープニューラルネットワークアーキテクチャを採用する。
• 深度マップは、学習されたエンコーダ・デコーダネットワークを用いてRGB画像から推定され、物理ベースのコンponentが直接的な深度入力を必要としなくなる。
• 複雑で多成分構成の画像形成モデルを手動で設計し、現実的な水中画像ペアを真値として生成することで、実世界の劣化をシミュレートする。
• 生成的対抗的損失、知覚的損失、再構成損失の組み合わせを用いてネットワークを訓練し、色の再現性、コントラスト、構造的忠実度を確保する。
• 残留学習コンponentは、単純な物理モデルの出力と真値との差を学習し、欠落した散乱や濁度効果を捉える。
• トレーニング済みモデルはPyTorchを介して完全に微分可能であり、最適化を用いた水中画像修復などの逆問題に応用可能である。

実験結果

リサーチクエスチョン

• RQ1 簡略化された物理モデルとRGB画像しか利用できない状況下で、ディープラーニングモデルが水中画像劣化を効果的にシミュレートできるか。
• RQ2 複雑な画像形成モデルによって生成された合成データでトレーニングされた残留学習ネットワークが、濁度や散乱といった測定不能な物理的要因をどれほど正確に捉えることができるか。
• RQ3 既知の物理モデルを組み込むことで、純粋にデータ駆動型の手法に比べて、シミュレートされた水中画像の現実性と解釈可能性がどの程度向上するか。
• RQ4 トレーニング済みモデルが、水中画像修復などの逆問題を解くための微分可能なエミュレータとして機能できるか。
• RQ5 本手法の性能は、Pix2Pix や CycleGAN などの最先端の画像対画像変換モデルに比べて、水中劣化のシミュレーションにおいてどの程度優れているか。

主な発見

• 提案手法は、特に複雑な散乱や色の歪みを捉える点で、Pix2Pix や CycleGAN などの純粋にデータ駆動型のモデルに比べて、現実的な水中画像劣化をシミュレートする点で優れている。
• 提案アーキテクチャのバリエーション2は、すべての指標においてコア手法やバリエーション1と同等またはそれを上回る性能を示しており、アーキテクチャの変化に対して高いロバスト性を示している。
• 完璧な色再構成が達成されていなくても、強力な水中のぼやけや色ずれ効果を効果的にシミュレートできており、劣化のモデリングが成功していることを示している。
• 真値生成に複雑な画像形成モデルを用いることで、実際の水中データセットが不足する状況下でも高品質な学習と信頼性の高い評価が可能になった。
• トレーニング済みモデルは完全に微分可能であり、画像修復などの逆問題に微分可能な物理的エミュレータとして応用可能である。これはブラックボックスモデルに比べて顕著な利点である。
• 物理学的制約付きの事前知識とデータ駆動型の残留学習を組み合わせることで、純粋にデータ駆動型の代替手法に比べ、より解釈可能で汎用性の高いシミュレータが得られることを示している。