[論文レビュー] Semantic Segmentation on Swiss3DCities: A Benchmark Study on Aerial Photogrammetric 3D Pointcloud Dataset

Gülcan Can, Dario Mantegazza+3 more|arXiv (Cornell University)|Dec 23, 2020

Remote Sensing and LiDAR Applications参考文献 29被引用数 7

ひとこと要約

本論文は、スイスの3都市（チューリッヒ、ズーグ、ダボス）から得られた高解像度の画像を用いて、写真測量法で再構築した3次元点群データセットであるSwiss3DCitiesを紹介する。このデータセットは、5つのクラス（地形、建物、植生、車両、都市インフラ）に手動でセマンティックセグメンテーションラベルが付与されている。PointNet++をベースラインとして用い、同じ都市のデータで学習した場合の性能（平均加重正答率84.9%）が、異なる都市のデータで学習した場合（82.3%）よりも顕著に優れていることを示した。さらに、都市間のモデルアンサンブルにより正答率が88.1%まで向上し、データの多様性と学習戦略が一般化性能に与える影響が顕著であることが明らかになった。

ABSTRACT

We introduce a new outdoor urban 3D pointcloud dataset, covering a total area of 2.7 $km^2$, sampled from three Swiss cities with different characteristics. The dataset is manually annotated for semantic segmentation with per-point labels, and is built using photogrammetry from images acquired by multirotors equipped with high-resolution cameras. In contrast to datasets acquired with ground LiDAR sensors, the resulting point clouds are uniformly dense and complete, and are useful to disparate applications, including autonomous driving, gaming and smart city planning. As a benchmark, we report quantitative results of PointNet++, an established point-based deep 3D semantic segmentation model; on this model, we additionally study the impact of using different cities for model generalization.

研究の動機と目的

• 自動運転を越える応用に適した、密度が高く解像度が高く完全な3次元都市点群データセットの不足に対処すること。
• 3次元セマンティックセグメンテーションモデルの学習および評価に用いる、ポイント単位のセマンティックラベルが付与されたベンチマークデータセットを提供すること。
• 学習データの分布と異なる都市環境間でのモデル一般化に与える影響を調査すること。
• スマートシティ計画、AR/VR、ロボット工学分野の研究を支援するため、複数の点群密度バージョンを備えた、豊富な写真測量法で得られたデータセットを提供すること。

提案手法

• 3つのスイス都市上空をマルチローターUAVがグリッドパターンで飛行し、高解像度の航空画像を取得した。
• 構造から形状（SfM）およびマルチビューステレオ（MVS）写真測量技術を用いて、高密度な3次元点群を再構築した。
• スパars（750万ポイント）、通常密度（2億2600万ポイント）、高密度（31億4700万ポイント）の3つのバージョンのデータセットを生成し、RGBおよびセマンティックラベルを併記した。
• 各ポイントを5つのセマンティックカテゴリ（地形、建物、植生、車両、都市インフラ）のいずれかに手動でラベル付けした。
• 複数のデータ分割（都市別、都市間）を用いてPointNet++を学習・評価し、性能向上のためのモデルアンサンブルを適用した。
• 異なる都市間での学習・評価の組み合わせを比較することで、モデルの一般化性能を定量的に評価した。

実験結果

リサーチクエスチョン

• RQ1 同じ都市のデータで学習・テストした場合と、異なる都市のデータで行った場合とで、セマンティックセグメンテーションのモデル性能はどのように異なるか？
• RQ2 複数の都市のデータを統合することで学習データ量を増加させた場合、モデルの正答率および一般化性能にどのような影響があるか？
• RQ3 都市別に学習したモデルをアンサンブルすることで、全データで1つのモデルを学習するのと比較して性能が向上するか？
• RQ4 点群密度の選択が、3次元セマンティックセグメンテーションモデルの性能にどのように影響するか？
• RQ5 都市環境の幾何学的およびセマンティック的多様性が、3次元セマンティックセグメンテーションにおけるモデル一般化に及ぼす影響はどの程度か？

主な発見

• テストデータと同一都市のデータで学習したモデルは、平均加重正答率84.9%を達成し、異なる都市のデータで学習したモデル（82.3%）を顕著に上回った。
• 3都市分のデータを統合して1つのモデルで学習させたことで、平均加重正答率は87.6%まで向上し、学習データ量の増加による利点が示された。
• 3つの都市別モデルの予測を平均化するアンサンブル手法により、最高の性能（平均加重正答率88.1%）を達成し、単一モデル学習や都市間学習を上回った。
• アンサンブルに第3のモデルを追加した際の性能向上は、最初の2つのモデルを組み合わせた際の向上と比べて小さく、アンサンブルの収益逓減が確認された。
• 結果から、データの多様性と学習・評価データのドメイン整合性が、3次元セマンティックセグメンテーションにおけるモデル一般化に極めて重要な要因であることが確認された。
• 本データセットは、LiDARベースと写真測量法ベースの3次元データセット間のドメインギャップを分析可能にし、今後のドメイン一般化や自己教師付き学習分野の研究を支援する。