[論文レビュー] Large-scale 3D building and tree datasets constructed from airborne LiDAR point clouds in Glasgow, UK

LI, Qiaosi, Zhao, Qunshan+6 more|arXiv (Cornell University)|Jan 1, 2021

3D Shape Modeling and Analysis参考文献 1被引用数 7

ひとこと要約

本論文では、3次元セマンティックセグメンテーションのための弱教師あり手法であるセマンティッククエリネットワーク（SQN）を提案する。SQNは、ランダムにアノテートされた点の0.1％のみを用いて、最先端の性能を達成する。局所的近傍におけるセマンティックの一貫性をクエリベースの潜在表現機構を通じて活用することで、アノテーションコストを著しく削減しつつ、S3DIS、ScanNet、SemanticKITTIといった大規模データセットにおいて、完全教師ありベースラインを上回る性能を発揮する。SemanticKITTIでは、たった105万パラメータで55.9％のmIoUを達成した。

ABSTRACT

IMPORTANT NOTE: The building data in this version (Version V1) is the legacy version. We suggest using the building footprint, lod1, and lod2 data of Version v4 (https://zenodo.org/records/15000747). The tree canopy and terrain data are the most updated in this version (Version V1). Urban Big Data Centre of the University of Glasgow generates 3D city models via the airborne LiDAR point clouds acquired between 2020-2021 on behalf of Glasgow City Council. It is a large-scale 3D city model containing 3D information on terrain, trees, and buildings in Glasgow City. This dataset comprises terrain, tree canopy, and building products derived from high-density airborne LiDAR point clouds. The terrain products include Digital Terrain Model (DTM), Digital Surface Model (DSM), and normalized Digital Surface Model (nDSM) in 0.5 m spatial resolution. The DTM and DSM rasters were provided by the vendor and nDSM rasters were obtained by subtracting DTM from DSM. Terrain products are provided in 5 km by 5 km GeoTIF format raster. The tree canopy products are composed of canopy height models (CHM) and tree top locations. Classified tree point clouds were applied with pit-free algorithm to generate CHM in 0.5 m grid raster in GeoTIF format [1]-[2]. Treetop locations were identified by using Local Maximum Filter based on CHM and are recorded as points in Shapefile format. The tree canopy products are provided in 5 km by 5 km tiles. Building 3D model products include footprint polygons with building height attributes and 3D mesh of building models in LoD1 and LoD2 levels. A series of processes such as converting building point clouds to building height models (BHM), converting BHM to polygons, and polygon regularization were conducted to obtain the building footprint polygons. Building height attributes were calculated from BHM for each footprint. The building footprint data are provided in Shapefile format. LoD1 models were generated based on the footprint and average height of the building. LoD2 models were constructed based on footprint and building point cloud with City3D tool[3]. LoD1 and LoD2 models are provided in OBJ and shapefile format. Building 3D model products are provided in 5 km by 5 km tiles. The RMSE of Euclidean distances between each point in the point cloud to the reconstructed model was calculated to evaluate the LoD2 model construction. A table of RMSE and a note for a few problematic models are provided.

研究の動機と目的

• 完全教師あり3次元セマンティックセグメンテーションモデルが、顕著に削減されたアノテーション予算下でどの程度劣化するかを調査すること。
• 特に都市規模のシーンにおいて、完全なアノテーションが高コストかつ現実的でないという問題に対処すること。
• 点群における局所的セマンティックの一貫性を効果的に活用することで、最小限の監督下でも性能を向上させること。
• 複雑なマルチステージパイプラインを回避し、実世界へのデプロイに適した、軽量でエンドツーエンドで訓練可能なモデルを構築すること。

提案手法

• SQNは、事前学習済みの特徴抽出器を用いて、入力の生点群を階層的な潜在表現に変換する。
• 任意の3次元点を入力とし、局所的近傍の潜在表現のサブセットをクエリする。
• クエリされた表現は、学習可能な集約モジュールを介してコンactなベクトルに要約される。
• このコンパクトなベクトルは、多層パーセプトロン（MLP）を通過して最終的なセマンティックラベルを予測する。
• この手法は、局所的構造に注目することで、局所的セマンティック類似性を明示的にモデル化し、スパースラベルからの特徴学習を強化する。
• 複雑なデータオーグメンテーションや自己教師あり事前学習段階を回避し、0.1％のランダムに選択された点アノテーションでのみエンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 既存の完全教師あり3次元セマンティックセグメンテーションモデルは、ランダムにアノテートされた点の1％のみで学習した場合、どの程度性能が低下するか？
• RQ2 性能の急激な低下が見られる注釈比率（例：0.1％）はどこか？ これは弱教師あり領域の始まりを示す。
• RQ3 3次元点群の近傍における局所的セマンティック一貫性を、極度のラベル希少性下でも効果的に活用できるか？
• RQ4 シンプルでエンドツーエンドのモデルは、複雑なマルチステージの弱教師ありパイプラインを凌駕できるか？
• RQ5 わずか0.1％のラベル付き点でのみ、競争力のある性能を維持しながら、モデルの効率性とデプロイ可能性を保てるか？

主な発見

• SQNは、SemanticKITTIデータセットで0.1％のラベル付き点のみを用いて55.9％のmIoUを達成し、多数の完全教師ありベースラインを上回った。
• S3DISデータセットでは、0.1％のアノテーションで学習したSQNが、完全教師ありのRandLA-Netと同等またはそれ以上のセグメンテーション精度を達成した。
• SQNは、たった105万のトレーニング可能なパラメータでSemanticKITTIで50.8％のmIoUを達成し、高い効率性と実世界へのデプロイ適合性を示した。
• 1％未満のアノテーション比率では性能が急激に低下するため、0.1％が弱教師あり領域の入り口としての重要な閾値であることが示された。
• 同じ0.1％のアノテーション予算下で、SQNはすべての7つの大規模ベンチマークデータセットで他の弱教師あり手法を上回った。
• アブレーションスタディの結果、局所的近傍クエリとセマンティック一貫性のモデリングが、本手法の成功の鍵であることが確認され、これらの要素を除去すると性能が著しく低下した。