[論文レビュー] ImpliCity: City Modeling from Satellite Images with Deep Implicit Occupancy Fields

Corinne Stucker, B. Ke+4 more|arXiv (Cornell University)|Jan 24, 2022

Remote Sensing and LiDAR Applications参考文献 40被引用数 13

ひとこと要約

IMPLICITYは、空中写真から3次元都市再構築のための深層暗黙的ニューラルフィールドを導入し、写真測量による点群とステレオ正射影図を活用して、連続的な占有フィールドとしてシーンの幾何構造をモデル化する。建物の屋根の窓や鋭い建物の輪郭といった細かな幾何的特徴を再構築する際、中央値の高さ誤差が0.7 mであり、従来のステレオパイプラインや学習による最適化手法を著しく上回る性能を発揮する。

ABSTRACT

High-resolution optical satellite sensors, combined with dense stereo algorithms, have made it possible to reconstruct 3D city models from space. However, these models are, in practice, rather noisy and tend to miss small geometric features that are clearly visible in the images. We argue that one reason for the limited quality may be a too early, heuristic reduction of the triangulated 3D point cloud to an explicit height field or surface mesh. To make full use of the point cloud and the underlying images, we introduce ImpliCity, a neural representation of the 3D scene as an implicit, continuous occupancy field, driven by learned embeddings of the point cloud and a stereo pair of ortho-photos. We show that this representation enables the extraction of high-quality DSMs: with image resolution 0.5$\,$m, ImpliCity reaches a median height error of $\approx\,$0.7$\,$m and outperforms competing methods, especially w.r.t. building reconstruction, featuring intricate roof details, smooth surfaces, and straight, regular outlines.

研究の動機と目的

• 高分解能入力を有してもノイジーで小さな幾何的特徴を欠落する従来のステレオ由来のDSMの限界を是正すること。
• 明示的な2.5次元またはメッシュベースの表現と比較して、暗黙的ニューラル表現が、大規模な都市シーンにおける細粒度の3次元幾何をより良く保持できるかどうかを調査すること。
• 共通の潜在空間に3次元点群幾何とマルチビュー画像情報を統合することで、再構築品質を向上させること。
• 衛星画像と写真測量による点群のみを用いて、滑らかな表面、まっすぐなエッジ、複雑な屋根の特徴を有する高精細なデジタル表面モデル（DSM）を生成すること。

提案手法

• 本手法は、3次元シーン幾何を連続的な占有フィールド fθ(x) として表現するための座標ベースの暗黙的ニューラルネットワークを用いる。ここで x は3次元座標であり、fθ(x) は占有確率を予測する。
• 局所的な3次元点群幾何を、x の周囲の局所的点群を処理する形状エンコーダーによって符号化し、形状コード ψ を生成する。
• 正射影された衛星画像1枚または2枚を用いて、畳み込み型画像エンコーダーにより画像ガイドド潜在コード ξ を生成し、画像パターンと3次元幾何を一致させる。
• 最終的な占有予測は、形状コード ψ と画像コード ξ をマルチスケールのデコーダーネットワークで統合することで計算され、画像の不連続性と正確に一致する。
• 予測された占有状態と真値の間のバイナリクロスエントロピー損失を用いて、参照DSMからの監視のもとで、エンドツーエンドにモデルを訓練する。
• 推論では、グリッド上の3次元座標でネットワークを照会することで、ラスタライゼーションやメッシュ化を経ずに高分解能で連続的なDSMを生成する。

実験結果

リサーチクエスチョン

• RQ1 ノイジーな衛星由来点群に対して、明示的な2.5次元DSMと比較して、深層暗黙的ニューラルフィールド表現が、細かな幾何的特徴を再構築する際に優れているか？
• RQ2 モノクローやステレオ画像情報を統合することで、都市環境における暗黙的3次元シーン再構築の精度と幾何的忠実性がどのように向上するか？
• RQ3 低～中程度解像度の衛星データで学習した場合、暗黙的表現が、窓やまっすぐな建物エッジといった小スケール特徴をどれほど保持できるか？
• RQ4 点群幾何と画像特徴の分離された符号化と、共同潜在表現の両者を比較した場合、再構築品質と一般化性能にどのような差が生じるか？
• RQ5 数km²規模の都市スケールのシーンに、高解像度の幾何的詳細を維持したまま、暗黙的表現が効果的にスケーリングできるか？

主な発見

• IMPLICITYは、建物再構築において中央値絶対誤差（MedAE）が0.7 mを達成し、従来のステレオパイプラインや既存の学習による最適化手法を著しく上回る。
• 標準的なステレオ由来DSMと比較して、全体の平均絶対誤差（MAE）を60%以上削減し、特に地形と建物幾何の分野で顕著な改善が見られた。
• IMPLICITY-mono（1枚の正射影画像から潜在コードを生成）は、MAEを0.3 m（約1.6 m）低下させ、MedAEを0.2 m（0.7 m）低下させ、建物の輪郭の鋭さと屋根の詳細回復に顕著な改善を示した。
• IMPLICITY-stereo（ステレオ画像ペアを用いる）はさらに視覚的品質を向上させ、他の手法が見逃すような細かな屋根構造（例：窓）の回復を可能にした。
• 全テストベースラインの中で、IMPLICITY-0（画像ガイドなし）が最も低いMAEとMedAEを達成し、IMPLICITY-monoとIMPLICITY-stereoは、それぞれRESDEPTHおよびPIFuの対応手法を16～25%上回る全体的な精度を達成した。
• 推論コストが高め（1km²あたり約9分）であるものの、IMPLICITY-stereoは唯一、窓のような小さな複雑な屋根特徴を一貫して回復でき、優れた視覚的忠実性を示した。