[論文レビュー] Towards Semantic Segmentation of Urban-Scale 3D Point Clouds: A Dataset, Benchmarks and Challenges

Qingyong Hu, Bo Yang+4 more|arXiv (Cornell University)|Sep 7, 2020

Remote Sensing and LiDAR Applications参考文献 71被引用数 26

ひとこと要約

本論文は、イギリスの3都市で合計7.6 km²にわたり約30億ポイントのアノテーションを有する大規模な都市域3次元点群データセット、SensatUrbanを紹介する。このデータセットは、セマンティックセグメンテーションモデルのベンチマーク評価を可能にする。主な課題として、スケールでのデータ前処理、クラス不均衡、RGBカラーの活用、都市間一般化性能を特定し、高度な損失関数がレアクラスのパフォーマンスを向上させることを示したが、都市地域間での一般化性能は依然として著しく制限されている。

ABSTRACT

An essential prerequisite for unleashing the potential of supervised deep learning algorithms in the area of 3D scene understanding is the availability of large-scale and richly annotated datasets. However, publicly available datasets are either in relative small spatial scales or have limited semantic annotations due to the expensive cost of data acquisition and data annotation, which severely limits the development of fine-grained semantic understanding in the context of 3D point clouds. In this paper, we present an urban-scale photogrammetric point cloud dataset with nearly three billion richly annotated points, which is three times the number of labeled points than the existing largest photogrammetric point cloud dataset. Our dataset consists of large areas from three UK cities, covering about 7.6 km^2 of the city landscape. In the dataset, each 3D point is labeled as one of 13 semantic classes. We extensively evaluate the performance of state-of-the-art algorithms on our dataset and provide a comprehensive analysis of the results. In particular, we identify several key challenges towards urban-scale point cloud understanding. The dataset is available at https://github.com/QingyongHu/SensatUrban.

研究の動機と目的

• 都市スケールのセマンティックセグメンテーションに適した大規模かつ豊富にアノテーションされた3次元点群データセットが不足しているという問題に対処すること。
• 実世界の都市シーンにおける最先端のディープラーニングモデルの評価のためのベンチマークを確立すること。
• データ前処理、クラス不均衡、モデル一般化性能といった、都市スケールの3次元点群理解における主な課題を特定し、実証的に分析すること。
• データセット内の未ラベル化された3.2 km²領域を活用して、将来の自己教師ありおよび半教師あり学習研究を可能にすること。
• 高解像度のフォトグラメトリック3次元データを活用し、スマートシティ計画、デジタルツイン、自律走行技術の分野における前進を促進すること。

提案手法

• ボーリングハム、ケンブリッジ、ヨークの3都市で、プロフェッショナルグレードのドローンマッピングシステムを用いて高解像度の航空画像を取得し、フォトグラメトリックな3次元点群を生成した。
• ボーリングハムおよびケンブリッジの各3次元点群を、地面、植生、自動車、建物など13種類のセマンティッククラスに手動でアノテーションし、合計で約30億ポイントのラベルを付与した。
• 標準的な指標（mIoUなど）を用いて、最先端のディープラーニングモデル（例：PointNet、RandLA-Net、KPConv）をこのデータセット上で評価した。
• RGBカラー情報の有効性を検証するため、カラー特徴を含むモデルと含まないモデルを比較した。
• クラス不均衡を軽減するために、5種類の高度な損失関数（交差エントロピー、重み付き交差エントロピー（逆頻度および平方根補正）、Lovász-Softmax、ファーカル損失）を適用した。
• 都市間一般化性能を評価するため、ボーリングハムで学習しケンブリッジでテストする実験を実施し、都市地域間でのモデルの頑健性を評価した。

実験結果

リサーチクエスチョン

• RQ1 最大30億ポイントに達する大規模な都市スケールの3次元点群を、セグメンテーション精度を損なわずに、深層学習に適した形で効果的に前処理および分割することは可能か？
• RQ2 強度情報のみまたはLiDARベースのデータと比較して、フォトグラメトリック点群におけるRGBカラー情報の統合が、セマンティックセグメンテーション性能にどの程度寄与するか？
• RQ3 地面や植生といった主要クラスが支配的である極端なクラス不均衡が、モデルパフォーマンスに与える影響は何か？ また、既存の損失関数はこの問題を効果的に緩和できるか？
• RQ4 ボーリングハムで学習したディープラーニングモデルが、ケンブリッジのような別の都市地域に一般化できない主な理由は何か？ また、この一般化ギャップを生じさせる要因は何か？
• RQ5 スマートシティやデジタルツインの実世界応用に向けたセマンティックセグメンテーションモデルの導入において、主なブottleneckは何か？

主な発見

• SensatUrbanデータセットには、イギリスの3都市にまたがる7.6 km²の範囲で約30億ポイントのラベルが付与されており、これは以前の最大のフォトグラメトリックデータセットの3倍以上に相当する。
• RGBカラー情報の統合により、自転車やフェンスといった細分化されたカテゴリのセグメンテーション性能が顕著に向上した。特に、色の文脈がないと正しく認識されないカテゴリで顕著であった。
• ファーカル損失や逆平方根頻度補正付き重み付き交差エントロピーといった高度な損失関数は、まれなクラスのパフォーマンスギャップを縮小し、mIoUを最大で5%向上させるとともに、自転車のセグメンテーション性能を20%以上向上させた。
• 高度な損失関数を用いても、自転車のようなレアクラスのパフォーマンスは依然として低く（例：mIoU < 10%）、データの不均衡が依然として解決されていない重要な課題であることが示された。
• 都市間一般化性能は著しく低下し、ボーリングハムで学習したモデルをケンブリッジでテストした場合、mIoUが最大20%低下した。特に、形状に大きな変動を示すクラス（例：レール、水）で顕著であった。
• モデルの一般化失敗は、主にクラス不均衡と都市間での都市的物体の形状変異性に起因しており、実世界への導入に向けた主要な未解決課題を浮き彫りにしている。