[論文レビュー] Efficient Urban-scale Point Clouds Segmentation with BEV Projection

Zhenhong Zou, Yizhe Li|arXiv (Cornell University)|Sep 19, 2021

3D Shape Modeling and Analysis参考文献 30被引用数 9

ひとこと要約

本論文は、都市スケールの点群に対して効率的な3次元セマンティックセグメンテーションを実現するBEVプロジェクションベースの手法を提案する。スパースな3次元データを密度の高いビューアー・エイド（BEV）画像に変換することで、2次元畳み込みニューラルネットワーク（2D CNN）とアテンションベースのマルチモーダル統合ネットワークを活用する。本手法はSensatUrbanデータセットにおいて61.17%のmIoUと91.37%のオーバーオールアキュラシーを達成し、大規模都市点群における最先端の効率性とパフォーマンスを示した。

ABSTRACT

Point clouds analysis has grasped researchers' eyes in recent years, while 3D semantic segmentation remains a problem. Most deep point clouds models directly conduct learning on 3D point clouds, which will suffer from the severe sparsity and extreme data processing load in urban-scale data. To tackle the challenge, we propose to transfer the 3D point clouds to dense bird's-eye-view projection. In this case, the segmentation task is simplified because of class unbalance reduction and the feasibility of leveraging various 2D segmentation methods. We further design an attention-based fusion network that can conduct multi-modal learning on the projected images. Finally, the 2D out are remapped to generate 3D semantic segmentation results. To demonstrate the benefits of our method, we conduct various experiments on the SensatUrban dataset, in which our model presents competitive evaluation results (61.17% mIoU and 91.37% OverallAccuracy). We hope our work can inspire further exploration in point cloud analysis.

研究の動機と目的

• 都市スケールの3次元点群セグメンテーションにおけるデータスパarsityと高い計算負荷の課題に対処すること。
• スパースな3次元点群を密度の高い2次元BEVプロジェクションに変換することで、セマンティックセグメンテーションのパフォーマンスを向上させること。
• RGBと幾何的特徴（高度）のマルチモーダル特徴をアテンションベースの統合ネットワークで統合し、セグメンテーション精度を向上させること。
• 投影された画像上で確立された2次元セグメンテーションアーキテクチャを活用することで、効率的な学習と推論を実現すること。
• 大規模なSensatUrbanデータセットを用いて本手法の有効性を検証し、実世界の都市データにおける競争力のあるパフォーマンスを示すこと。

提案手法

• 25×25m²のグリッド解像度と20×の拡大率を有する独自のプロジェクションアルゴリズムを用いて、3次元点群を密度の高いビューアー・エイド（BEV）画像に変換する。
• RGBと幾何的（高度）特徴を、投影されたBEV画像から抽出し、マルチモーダルアテンションベースの統合ネットワークで統合する。
• ResNet-34、ResNet-101、HRNetをバックボーンとして用いる2次元セマンティックセグメンテーションモデル（例：UNet、Deeplabv3、OCRNet）を、投影画像に適用する。
• x/y座標を用いて2次元セグメンテーション予測を3次元空間に再マップし、3次元セマンティックラベルを生成する。
• データセットにおける長尾クラス分布に対処するため、ログ逆数重み付けを施したクラスバランス型クロスエントロピー損失を採用する。
• 入力解像度500×500、バッチサイズ8で、2台のRTX 3090 GPUを用い、CUDAアクセラレーション付きのPyTorchで学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 BEVプロジェクションは、都市スケールの3次元点群セグメンテーションにおけるデータスパarsityと計算負荷を効果的に軽減できるか？
• RQ2 RGBと幾何的特徴を統合したマルチモーダル特徴を有するBEVプロジェクション点群に2次元セマンティックセグメンテーションモデルを適用した場合、その性能はどの程度か？
• RQ3 RGBと幾何的特徴のアテンションベース統合は、大規模都市データセットにおけるセグメンテーション精度をどの程度向上させるか？
• RQ4 SensatUrbanベンチマークにおいて、本手法は既存の3次元点ベースおよびボクセルベースのモデルと比較して、性能と効率の両面で優れているか？
• RQ5 BEVアプローチは、自転車やフェンスなどの小さなまたはスパースなオブジェクトのセグメンテーションにおいて、どのような限界を示すか？

主な発見

• 提案手法のBEVプロジェクションは、SensatUrbanデータセットで61.17%のmIoUと91.37%のオーバーオールアキュラシーを達成し、大規模都市点群における強力なパフォーマンスを示した。
• OCRNet-HRNetバックボーンが61.17%の最高mIoUを記録し、UNet-ResNet34 や Deeplabv3-ResNet101 などの他のバックボーンを上回った。
• 本手法はクラスの不均衡を効果的に軽減し、2次元セグメンテーションモデルの効率的利用を可能にし、直接的な3次元処理と比較して顕著な計算オーバーヘッドの低減を実現した。
• 自転車やフェンスのような小さなオブジェクトは、BEVプロジェクションにおけるピクセル面積が極めて小さいため、依然として挑戦的であり、解像度への感受性の限界を示している。
• モデルは多様な都市シーンに良好に一般化し、建物（91.37% OA）、道路（94.40% OA）、水（74.46% OA）といった主要クラスにおいて強力なパフォーマンスを示した。
• 可視化結果から、本手法が細部を保持し、屋根や歩道といった複雑な構造を正しくセグメンテーションしていることが確認された。