[論文レビュー] STPLS3D: A Large-Scale Synthetic and Real Aerial Photogrammetry 3D Point Cloud Dataset

Meida Chen, Qingyong Hu+7 more|arXiv (Cornell University)|Mar 17, 2022

Remote Sensing and LiDAR Applications被引用数 42

ひとこと要約

本論文は STPLS3D を提示する。合成データと実航空測量の3D点群を大規模に組み合わせ、オープン地理空間データを用いた完全自動パイプラインで豊富な注釈データを生成し、実世界の3Dセマンティックセグメンテーションと一般化に対する合成データの利点を示す。

ABSTRACT

Although various 3D datasets with different functions and scales have been proposed recently, it remains challenging for individuals to complete the whole pipeline of large-scale data collection, sanitization, and annotation. Moreover, the created datasets usually suffer from extremely imbalanced class distribution or partial low-quality data samples. Motivated by this, we explore the procedurally synthetic 3D data generation paradigm to equip individuals with the full capability of creating large-scale annotated photogrammetry point clouds. Specifically, we introduce a synthetic aerial photogrammetry point clouds generation pipeline that takes full advantage of open geospatial data sources and off-the-shelf commercial packages. Unlike generating synthetic data in virtual games, where the simulated data usually have limited gaming environments created by artists, the proposed pipeline simulates the reconstruction process of the real environment by following the same UAV flight pattern on different synthetic terrain shapes and building densities, which ensure similar quality, noise pattern, and diversity with real data. In addition, the precise semantic and instance annotations can be generated fully automatically, avoiding the expensive and time-consuming manual annotation. Based on the proposed pipeline, we present a richly-annotated synthetic 3D aerial photogrammetry point cloud dataset, termed STPLS3D, with more than 16 $km^2$ of landscapes and up to 18 fine-grained semantic categories. For verification purposes, we also provide a parallel dataset collected from four areas in the real environment. Extensive experiments conducted on our datasets demonstrate the effectiveness and quality of the proposed synthetic dataset.

研究の動機と目的

• 大規模な注釈付き写真測量の3D点群をエンドツーエンドで作成する動機づけと実現を可能にする。
• 現実の UAV ワークフローに沿ったフォトリアリスティックな合成データを生成する、完全自動かつ制御可能なパイプラインを提供する。
• クラス分布のバランスを取り、自動的な意味論的およびインスタンス注釈を可能にする。
• 合成データが実世界の3Dセマンティックセグメンテーションと一般化の改善に向けた有用性を示す。

提案手法

• 多様な建物様式のため、GISデータ（OSM フットプリント、道路網、DSM）を用いた3D都市ブロックの手続き的生成と、CGAベースの CityEngine モデル。
• Unreal Engine 4 で天候効果を用いて現実的なフォトグラメトリ入力を模倣する2D画像をレンダリングし、その後 ContextCapture で再構築。
• プロキシレイキャスト点群を介して2Dラベルを3Dフォトグラメトリポイントに自動転送し、グラウンド接続成分を用いた最近傍ラベリングで整合性を改善。
• レンダリングと再構築パイプラインの副産物として自動的に生成される意味論的およびインスタンス注釈。
• 約16 km2 の大規模合成データセット（SyntheticV1, SyntheticV2, SyntheticV3）と約1.27 km2 の実データサブセットを4つの実サイト（USC, WMSC, OCCC, RA）を含む。
• 最先端の3Dセマンティックセグメンテーションおよびインスタンスセグメンテーションのベースラインを STPLS3D 上で統合する評価フレームワーク。

実験結果

リサーチクエスチョン

• RQ1 完全自動の合成データ生成パイプラインは、フォトリアリスティックでドメイン適合した3D航空写真測量データと自動注釈を生み出せるか。
• RQ2 訓練データとして使用した場合、合成 STPLS3D データは実世界の3Dセマンティックセグメンテーションの性能と一般化を向上させるか。
• RQ3 合成と実外部屋外フォトグラメトリデータの制限とドメインギャップは何か、そしてそれらは物体レベルのタスクにどう影響するか。
• RQ4 実データと合成データを混在させると大規模な屋外シーンの性能はどう変化するか。
• RQ5 自動注釈と手動ラベリングを比較したときの相対的な注釈品質とコスト削減はどの程度か。

主な発見

• STPLS3D データセットは、4つの実サイトにわたる合成地形の総面積 >16 km2 と、実データの1.27 km2 のサブセットを組み合わせ、最大で18の semantic クラスと14のインスタンスクラスを含む。
• 実データのみで訓練した場合に比べ、合成データで訓練するとすべてのベースラインが改善され、合成データが有益な多様性と規模を提供することを示す。
• 実データと合成データを組み合わせた訓練で、ベースライン間で最良の mIoU を達成する（例：KPConv の mIoU が約8ポイント向上）。
• 一般化性能の向上: FDc クロスデータセット評価で、合成データを追加すると PointTransformer の mIoU が約13%向上。
• 合成サブセットのインスタンスセグメンテーションでは HAIS が PointGroup を上回るが、屋外規模のシーンでは依然課題が残り、屋内データセットと比較した屋外ドメインのギャップを浮き彫りにしている。
• 提案されたパイプラインは、実データと同程度のノイズ特性を持つ豊富に注釈付きの3Dフォトグラメトリデータを自動かつ大規模に生成可能にし、注釈コストを削減する。