[論文レビュー] Semihierarchical Reconstruction and Weak-area Revisiting for Robotic Visual Seafloor Mapping

Mengkun She, Yifan Song+2 more|arXiv (Cornell University)|Aug 11, 2023

Underwater Vehicles and Communication Systems参考文献 54被引用数 4

ひとこと要約

本論文は、AUVによる視覚データを用いた、頑健で大規模な3D海底地図作成のための準階層的再構築と弱い領域の再訪問フレームワークを提示する。SLAMとSfMを組み合わせ、色の補正と制約が不足している領域の反復的再訪問を施すことで、困難な水中の照明および撮影条件下でも幾何学的に一貫性のある再構築を実現し、ポーズグラフの接続性と再構築品質を顕著に向上させる。

ABSTRACT

Despite impressive results achieved by many on-land visual mapping algorithms in the recent decades, transferring these methods from land to the deep sea remains a challenge due to harsh environmental conditions. Images captured by autonomous underwater vehicles (AUVs), equipped with high-resolution cameras and artificial illumination systems, often suffer from heterogeneous illumination and quality degradation caused by attenuation and scattering, on top of refraction of light rays. These challenges often result in the failure of on-land SLAM approaches when applied underwater or cause SfM approaches to exhibit drifting or omit challenging images. Consequently, this leads to gaps, jumps, or weakly reconstructed areas. In this work, we present a navigation-aided hierarchical reconstruction approach to facilitate the automated robotic 3D reconstruction of hectares of seafloor. Our hierarchical approach combines the advantages of SLAM and global SfM that is much more efficient than incremental SfM, while ensuring the completeness and consistency of the global map. This is achieved through identifying and revisiting problematic or weakly reconstructed areas, avoiding to omit images and making better use of limited dive time. The proposed system has been extensively tested and evaluated during several research cruises, demonstrating its robustness and practicality in real-world conditions.

研究の動機と目的

• 非一様な照度、光の減衰、散乱の影響により生じる深海における視覚マッピングの不整合で不完全な3D再構築の課題に対処すること。
• 標準的な陸上用SLAMおよびSfM手法が失敗または発散する水中環境において、視覚マッピングシステムの頑健性を向上させること。
• AUVの潜水時間に制限がある中で、弱く登録された領域を特定し再訪問することで、画像の利用効率を最大化する自動化されたワークフローを構築すること。
• 色の補正とハイブリッドSLAM-SfM処理を用いて、特徴量の一致とポーズグラフの一貫性を向上させること。
• 科学的および生態学的分析に適した、高解像度で幾何学的に正確な大規模な海底領域の3D再構築を実現すること。

提案手法

• システムは、速度と正確性のバランスを取るために、キーフレームベースのトラッキングと段階的最適化を活用するハイブリッドSLAMおよびSfMパイプラインを採用する。
• 照明の不均一性を低減するため、色の補正を適用し、特徴対応の信頼性を向上させる。
• 準階層的再構築戦略により、再構築プロセスを詳細のレベルに分けて管理し、大規模データセットの効率的処理を可能にする。
• 弱い領域の検出は、相対的なポーズ制約が不十分な画像を特定し、接続性の向上と再構築ギャップの低減を目的とした標的的な再訪問を引き起こす。
• 再訪問後にポーズグラフを段階的に最適化することで、全体の再構築における一貫性の向上とドリフトの低減を確保する。
• 高解像度のテクスチャ付き3Dモデルの生成のため、OpenMVSを用いて元の画像および補正済み画像の両方に対して、密な多視点ステレオ（MVS）とメッシュ化処理を実施する。

実験結果

リサーチクエスチョン

• RQ1 深海環境における非一様な照度および放射計的劣化に対して、視覚マッピングシステムをどのようにして頑健に保てるようにできるか？
• RQ2 色の補正は、水中の視覚再構築において、特徴量の一致とポーズグラフの接続性をどの程度向上させるか？
• RQ3 ハイブリッドSLAM-SfMアプローチは、段階的SfMと比較して、同等の再構築正確性を維持しながら、より高速な処理を達成できるか？
• RQ4 弱い領域の再訪問は、そうでなければ無視されたり、不正確に登録されたりする画像の回復にどの程度効果的か？
• RQ5 画像前処理および再構築パイプライン設計は、大規模な海底3Dモデルの最終品質にどのような影響を与えるか？

主な発見

• 色の補正により、特に横方向のトラック間で視覚グラフの接続性が顕著に向上し、照度の不均一性が低減された。
• 色補正済み画像の使用により、SIFT特徴量の一致がより信頼性が高まり、視覚グラフ内の一致密度の増加によって裏付けられた。
• 弱い領域の再訪問により、すべての制約が不足している領域が解消され、ポーズグラフの頑健性が100%向上した。
• 最終的な3D再構築は、照明効果の補正が明確に反映されており、視覚的に一貫性があり詳細なメッシュが得られた。
• 本システムは、困難なハードシーン条件を含む多様なデータセットにおいても、高解像度で幾何学的に正確な海底モデルを生成した。
• ハイブリッドSLAM-SfMアプローチは、段階的SfMと比較して著しく高速に処理を実行しながら、同等の再構築正確性を維持した。