[論文レビュー] Robustly Removing Deep Sea Lighting Effects for Visual Mapping of Abyssal Plains

Kevin Köser, Yifan Song+3 more|arXiv (Cornell University)|Oct 1, 2021

Robotics and Sensor-Based Localization被引用数 5

ひとこと要約

本論文では、主に均一な海床領域の統計的分析を用いて加法的および乗法的照度効果を推定することにより、深海視覚マッピングにおける照度アーティファクトをパラメータフリーでロバストに除去する手法を提案する。この手法により、キャリブレーションや学習データを必要とせず一貫性のある色の回復が可能となり、深海平野における信頼性の高い視覚マッピングが実現される。

ABSTRACT

The majority of Earth's surface lies deep in the oceans, where no surface light reaches. Robots diving down to great depths must bring light sources that create moving illumination patterns in the darkness, such that the same 3D point appears with different color in each image. On top, scattering and attenuation of light in the water makes images appear foggy and typically blueish, the degradation depending on each pixel's distance to its observed seafloor patch, on the local composition of the water and the relative poses and cones of the light sources. Consequently, visual mapping, including image matching and surface albedo estimation, severely suffers from the effects that co-moving light sources produce, and larger mosaic maps from photos are often dominated by lighting effects that obscure the actual seafloor structure. In this contribution a practical approach to estimating and compensating these lighting effects on predominantly homogeneous, flat seafloor regions, as can be found in the Abyssal plains of our oceans, is presented. The method is essentially parameter-free and intended as a preprocessing step to facilitate visual mapping, but already produces convincing lighting artefact compensation up to a global white balance factor. It does not require to be trained beforehand on huge sets of annotated images, which are not available for the deep sea. Rather, we motivate our work by physical models of light propagation, perform robust statistics-based estimates of additive and multiplicative nuisances that avoid explicit parameters for light, camera, water or scene, discuss the breakdown point of the algorithms and show results on imagery captured by robots in several kilometer water depth.

研究の動機と目的

• 移動する光源、散乱、減衰によって引き起こされる深海視覚マッピングにおける画像外観の不一致の課題に対処すること。
• 光源、カメラ、水のパラメータに関する詳細なキャリブレーションや事前知識を必要とする物理モデルの限界を克服すること。
• 未知の照度条件に対してロバストであり、キャリブレーション済みまたはレガシーな深海画像に適用可能な前処理手法を開発すること。
• 平坦で均一な海底下領域における照度に起因する色の変動を最小限に抑えることで、信頼性の高い画像マッチング、SLAM、3次元再構築を可能にすること。
• アノテート済みの学習データが深海環境では入手不可能であるため、それを一切使用せずに大規模なモザイク生成にリアルタイムで対応できること。

提案手法

• 観測画像を真のアルベドと照度効果の組み合わせとしてモデル化し、散乱と減衰を表す加法的および乗法的成分に分解する。
• 特に中央値および中央平均偏差（MAD）を用いたロバスト統計的手法により、複数の画像における支配的海底下色と照度歪みを推定する。
• パラメータフリーの正規化を適用し、複数の視点における重複する海底下ピクセル間の色の差を最小化することで、各画像を共通のホワイトバランスに調整する。
• 複数の入力画像からモザイクピクセルを後退的にマッピングし、一貫性指標（RMSE）を計算して、重複領域における真値に類似した一貫性を評価する。
• 光源の幾何構造、カメラポーズ、水の性質を明示的にモデル化しない、ロバストで非パrametricなアプローチを採用する。
• 大規模な深海画像モザイク処理に適した、近似的にリアルタイムで実行可能な効率的な実装を実現する。

実験結果

リサーチクエスチョン

• RQ1 キャリブレーションや学習データが事前にない状況でも、深海画像における照度アーティファクトを効果的に除去できるか？
• RQ2 光源、カメラ、水の物理的パラメータが不明な状況下でも、加法的および乗法的照度効果をどのようにロバストに推定できるか？
• RQ3 提案手法が、大規模な海底モザイクにおける重複する視点間の画像一貫性をどの程度向上させるか？
• RQ4 本手法はキャリブレーション済みまたはレガシーな深海画像シーケンスに適用可能であり、視覚マッピングの性能を向上させられるか？
• RQ5 本手法は、深海環境における画像マッチング、SLAM、3次元再構築といった後続タスクにどのような影響を与えるか？

主な発見

• 提案手法は、特に2次元モザイクにおいて重複ピクセル間の色差のRMSEが低くなるという指標で、既存手法を上回る画像一貫性を達成している。
• 他の手法とは異なり、画像境界に暗いリムを生成しない。これは、大規模なモザイク処理やループ検出において極めて重要である。
• 生の画像に強い照度変動が見られる場合でも、同じ物体の複数の視点において質的色の一貫性を保持している。
• 学習データを一切必要とせず、顕著な一貫性の向上を達成しているため、歴史的またはキャリブレーション済みでない深海映像に適している。
• アルゴリズムは近似的にリアルタイムで実行可能であり、大規模な視覚マッピングパイプラインでの実用的応用が可能である。
• 大規模な照度アーティファクトを効果的に除去しながら、局所的な影やマイクロトポグラフィーを保持しており、後続処理における構造的忠実性を維持している。