[論文レビュー] Automated 3D recovery from very high resolution multi-view satellite images

Rongjun Qin|arXiv (Cornell University)|May 17, 2019

Satellite Image Processing and Photogrammetry被引用数 25

ひとこと要約

本論文は、非常に高解像度のマルチビュー衛星画像から高精度な3Dデジタル表面モデル（DSM）を自動生成するパイプラインを提示する。本手法は、スペクトル類似度を活用し、LiDARデータから最適な画像ペア構成を学習する、アダプティブ3次元中央値フィルタを用いて複数のステレオ由来の深度マップを融合し、標準的手法と比較して0.36メートルのRMSE向上を達成した。

ABSTRACT

This paper presents an automated pipeline for processing multi-view satellite images to 3D digital surface models (DSM). The proposed pipeline performs automated geo-referencing and generates high-quality densely matched point clouds. In particular, a novel approach is developed that fuses multiple depth maps derived by stereo matching to generate high-quality 3D maps. By learning critical configurations of stereo pairs from sample LiDAR data, we rank the image pairs based on the proximity of the results to the sample data. Multiple depth maps derived from individual image pairs are fused with an adaptive 3D median filter that considers the image spectral similarities. We demonstrate that the proposed adaptive median filter generally delivers better results in general as compared to normal median filter, and achieved an accuracy of improvement of 0.36 meters RMSE in the best case. Results and analysis are introduced in detail.

研究の動機と目的

• 非常に高解像度のマルチビュー衛星画像から高品質な3Dデジタル表面モデル（DSM）を自動生成すること。
• 複雑な都市部および自然景観において、手動による介入なしに正確で高密度の3D再構築を達成する課題に対処すること。
• 参照用LiDARデータから学習した最適なステレオペア構成を組み込むことで、深度マップ統合を改善すること。
• 従来の中央値フィルタリングを上回る、局所的な画像コンテンツおよびスペクトル整合性に基づく動的フィルタリング強度調整戦略により、点群のノイズと誤差を低減すること。

提案手法

• パイプラインは、複数の衛星画像を空間的に整合させるための自動的な地理的参照処理を実行する。
• ステレオマッチングを複数の画像ペアに適用し、個々の深度マップを生成する。
• サンプルLiDARデータに近い画像ペアを選択することで、最適なステレオペアを特定する、新規の画像ペアランク戦略を導入する。
• 画像間のスペクトル類似度に基づいて重みを付けることで、アダプティブ3次元中央値フィルタを用いて複数の深度マップを統合する。
• アダプティブフィルタは、局所的な画像コンテンツおよびスペクトル整合性に基づき、フィルタ強度を動的に調整し、ノイズを低減しながらエッジを保持する。
• 最終的な3次元点群は、統合された深度マップを統合して、高密度かつ地理的に参照されたDSMとして生成される。

実験結果

リサーチクエスチョン

• RQ1 手動による介入なしに、非常に高解像度のマルチビュー衛星画像から高精度な3D再構築を達成できるか？
• RQ2 真値データが利用できない状況で、ステレオペア選択をどのように最適化できるか？
• RQ3 画像ペア間のスペクトル類似度が、深度マップ統合の性能にどの程度寄与するか？
• RQ4 アダプティブ3次元中央値フィルタは、ノイズ低減と幾何的詳細の保持の両面で、標準中央値フィルタリングを上回るか？
• RQ5 LiDARガイド付きステレオペアランク戦略とアダプティブフィルタリングを用いることで、RMSEにどの程度の測定可能な向上が得られるか？

主な発見

• 提案されたアダプティブ3次元中央値フィルタは、標準中央値フィルタリングと比較して、最良の状況下で0.36メートルのRMSE向上を達成した。
• LiDARガイド付きステレオペアランク戦略は、参照データに近い深度マップを生成する画像ペアを効果的に選択し、全体の統合品質を向上させた。
• スペクトル類似度に基づく重み付けを用いた深度マップ統合は、最終的な3次元点群の精度と耐障害性を顕著に向上させた。
• 自動化されたパイプラインは、最小限の人的入力で、高密度かつ地理的に参照されたDSMをマルチビュー衛星画像から効果的に生成できた。
• 本手法は、都市部および自然地形の多様なタイプにわたり一貫した性能向上を示し、汎用性が裏付けられた。