[論文レビュー] SensatUrban: Learning Semantics from Urban-Scale Photogrammetric Point Clouds

Qingyong Hu, Bo Yang+4 more|arXiv (Cornell University)|Jan 12, 2022

Remote Sensing and LiDAR Applications被引用数 4

ひとこと要約

SensatUrbanは、イギリスの3都市にまたがる7.6 km²の都市スケールの空中写真測量点群データセットを提供し、13のセマンティックカテゴリにほぼ30億点がアノテートされています。このデータセットにより、最先端の3次元セマンティックセグメンテーションモデルのベンチマーク評価が可能となり、スケーラビリティ、クラス不均衡、一般化性能に関する主な課題が明らかになりました。また、大規模な都市シーンにおける自己教師あり事前学習の有効性も示されています。

ABSTRACT

With the recent availability and affordability of commercial depth sensors and 3D scanners, an increasing number of 3D (i.e., RGBD, point cloud) datasets have been publicized to facilitate research in 3D computer vision. However, existing datasets either cover relatively small areas or have limited semantic annotations. Fine-grained understanding of urban-scale 3D scenes is still in its infancy. In this paper, we introduce SensatUrban, an urban-scale UAV photogrammetry point cloud dataset consisting of nearly three billion points collected from three UK cities, covering 7.6 km^2. Each point in the dataset has been labelled with fine-grained semantic annotations, resulting in a dataset that is three times the size of the previous existing largest photogrammetric point cloud dataset. In addition to the more commonly encountered categories such as road and vegetation, urban-level categories including rail, bridge, and river are also included in our dataset. Based on this dataset, we further build a benchmark to evaluate the performance of state-of-the-art segmentation algorithms. In particular, we provide a comprehensive analysis and identify several key challenges limiting urban-scale point cloud understanding. The dataset is available at http://point-cloud-analysis.cs.ox.ac.uk.

研究の動機と目的

• 細分化された都市シーン理解のための、大規模で高品質で写真的リアリズムを持つ3次元点群データセットの不足に対処すること。
• 都市スケールのデータ上で最先端の3次元セマンティックセグメンテーションモデルの評価を可能にすること。
• 巨大な点群におけるデータ前処理、クラス不均衡、モデル一般化に関する課題を調査すること。
• 自己教師ありおよび半教師あり事前学習が都市スケールの点群に与える可能性と影響を調査すること。
• 3次元コンピュータビジョン、リモートセンシング、都市3次元モデリング分野における今後の研究のベンチマークを提供すること。

提案手法

• UAVを用いた写真測量法により、イギリスの3都市（バーミンガム、ケンブリッジ、ヨーク）の高密度な重複する空中写真を撮影した。
• 写真測量技術を用いてこれらの画像から点群を再構築し、幾何学的および外観情報が豊富な高密度でカラー化された3次元点群を生成した。
• バーミンガムおよびケンブリッジの点群の各点は、道路、植生、レール、橋、川など13のセマンティックカテゴリのいずれかに手動でアノテートされた。
• ヨークの点群は、将来の半教師ありおよび自己教師あり学習研究を支援するためにラベルなしのまま残された。
• 3つのベースラインネットワーク（PointNet、PCN、DGCNN）を用いた包括的なベンチマークを確立し、3つの学習制御方式（事前学習モデルからの微調整、遮蔽補完を用いた事前学習、スクラッチからの学習）で評価した。
• 実験により、自己教師あり目的（例えば、ジャイガ予測や遮蔽補完）を用いた事前学習が、特にレールや橋といったレアクラスのパフォーマンスに与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 30億点を超える7.6 km²の都市スケール点群（3次元）に対して、既存の3次元セマンティックセグメンテーション用ディープラーニングモデルは効果的に一般化できるか？
• RQ2 オブジェクトレベルのデータ（例：ModelNet40）を用いた自己教師あり事前学習が、大規模な都市点群におけるパフォーマンスにどのように向上させるか？
• RQ3 色および外観情報の統合が、都市シーンにおけるセマンティックセグメンテーションにどの程度向上効果をもたらすか？
• RQ4 地面や植生がレールや水に比べて圧倒的に多い極端なクラス不均衡が、モデルのパフォーマンスおよび一般化性能に与える影響はどの程度か？
• RQ5 弱教師ありまたは半教師あり学習技術を用いることで、ラベルなしのヨーク点群データを効果的に活用し、セグメンテーション性能を向上させることができるか？

主な発見

• SensatUrbanデータセットは、以前の最大の写真測量点群データセットよりも3倍以上大きく、7.6 km²をカバーし、ほぼ30億点のアノテート済み点群を含む。
• オブジェクトレベルのデータ（例：ModelNet40）を用いた事前学習の後、SensatUrbanで微調整を行うことで、特に鉄道や橋といったマイノリティクラスにおいて顕著なパフォーマンス向上が得られ、最大でほぼ10%の向上が確認された。
• 遮蔽補完やジャイガ予測などの自己教師あり事前学習目的を用いることで、支配的クラスへの過学習が軽減され、レアカテゴリのパフォーマンスが向上した。
• ベンチマークの結果から、データ準備、クラス不均衡の対処法、モデル一般化性能が、都市スケールのシーンにおける3次元セマンティックセグメンテーションをスケーリングするうえで依然として主要な課題であることが示された。
• 点群に色および外観情報を組み込むことで、セマンティック理解に有益であることが示されたが、その全般的な影響はさらなる調査を要する。
• ラベルなしのヨーク点群データの公開により、将来の大規模都市点群における半教師ありおよび自己教師あり学習に関する研究が可能になった。