[論文レビュー] Learning Dense Stereo Matching for Digital Surface Models from Satellite Imagery

Wayne Treible, Scott Sorensen+3 more|arXiv (Cornell University)|Nov 8, 2018

Advanced Vision and Imaging参考文献 18被引用数 5

ひとこと要約

本稿では、合成ステレオデータセットとLiDARから導出した真値を用いた実際の衛星画像ペアを組み合わせたハイブリッドトレーニング方式を活用して、衛星画像から高品質なデジタル表面モデル（DSM）を生成することを目的としたディーブラーニングベースのステレオマッチングネットワークを提案する。本手法は、都市部や影のある領域において、従来のセミグローバルマッチング（SGM）と比較して優れたエッジ保持性と滑らかさを実現する。

ABSTRACT

Digital Surface Model generation from satellite imagery is a difficult task that has been largely overlooked by the deep learning community. Stereo reconstruction techniques developed for terrestrial systems including self driving cars do not translate well to satellite imagery where image pairs vary considerably. In this work we present neural network tailored for Digital Surface Model generation, a ground truthing and training scheme which maximizes available hardware, and we present a comparison to existing methods. The resulting models are smooth, preserve boundaries, and enable further processing. This represents one of the first attempts at leveraging deep learning in this domain.

研究の動機と目的

• 時間的・照明的・幾何的変動の影響を受ける衛星ステレオペアから正確なデジタル表面モデル（DSM）を生成する課題に対処すること。
• 同期的で近基準距離の画像を想定した地上ステレオ手法の限界を、大基準距離および非同時取得の衛星データに適用した場合に克服すること。
• シーンや照明の変化に対しても頑健な視差推定を実現するため、衛星画像に特化した深層ニューラルネットワークアーキテクチャを最適化すること。
• LiDAR点群の投影を用いた新規な真値生成パイプラインを構築し、衛星画像ペアにおける教師あり学習を可能にすること。
• 合成ステレオデータ（Sceneflow）と実際の衛星画像を組み合わせた混合トレーニング戦略により、DSMの一般化性能とエッジ保持性を向上させること。

提案手法

• 受容 field を拡大し、文脈モデリングを強化するため、共有ブランチ特徴抽出と空間階層プーリングを備えた残差エンコーダベースのニューラルネットワークを設計する。
• 20,000枚のSceneflow合成ステレオベンチマークからの画像と、LiDARから導出された視差真値を有する30,000組の実際の衛星画像ペアを用いたハイブリッドデータセットでネットワークをトレーニングする。
• 2段階のトレーニング手順を実装：まずSceneflowでファインチューニングを行い、その後、学習率を一定値（0.001）に保ったまま、衛星データと合成データを同時にトレーニングする。
• 視差回帰誤差を最小化し、外れ値に対してより頑健な性能を発揮するように、スムーズL1損失関数をトレーニング中に適用する。
• 構造的詳細を保持しノイズを低減するために、ペアワイズ視差マップを重み付き統合戦略で統合し、最終的な高解像度DSMを生成する。
• 衛星画像ペアにLiDAR点群をRational Polynomial Camera（RPC）モデルを用いて投影することで、真値視差マップを生成する。

実験結果

リサーチクエスチョン

• RQ1 合成ステレオデータでトレーニングされたディープニューラルネットワークを、実際の衛星画像で有効にファインチューニングすることで、正確で一般化可能な視差マップを生成できるか？
• RQ2 LiDARから導出された真値を有する実際の衛星画像ペアを含めることで、複雑な都市環境におけるステレオマッチングの性能がどの程度向上するか？
• RQ3 トレーニング戦略として、合成データからの転移学習、衛星データへの完全な転移、または混合アプローチのうち、どれが未学習の衛星領域への一般化性能を最も高めるか？
• RQ4 従来のセミグローバルマッチング（SGM）手法と比較して、提案手法のネットワークがDSMにおいてどの程度鋭いエッジと構造的詳細を保持できるか？
• RQ5 シャドー領域や高密度の植生、人工構造物を有する領域において、ネットワークの性能はどの程度であるか？

主な発見

• '完全な転移'トレーニング手順（合成データおよび実衛星データの両方でトレーニング）が、テストセットで最小の回帰損失（21.943）を達成し、従来の転移学習および混合トレーニングを上回った。
• ネットワークが生成したDSMは、特に影のある領域において、SGMベースのDSMと比較して建物のエッジがはっきりとし、建築的特徴の保持が顕著に優れていた。
• SGM手法は建物の影部分で不定形でぼやけた領域を生成したが、ニューラルネットワークは一貫性があり構造的な幾何形状を維持した。
• エッジ保持性が向上した一方で、メモリ効率を高めるためのダウンサンプリングの影響により、屋上換気装置や配管などの微細な詳細が過剰に平滑化された。
• 混合トレーニング手順は最大の損失（25.452）を示し、一般化性能が劣った。これはドメインシフトや衛星データにおける都市部への過学習の影響によるものと推定される。
• 最終的にネットワークが生成したDSMは、滑らかで一貫性があり、多様な地形や照明条件においても構造的整合性を保持していた。