[論文レビュー] PolarMix: A General Data Augmentation Technique for LiDAR Point Clouds

Aoran Xiao, Jiaxing Huang+4 more|arXiv (Cornell University)|Jul 30, 2022

Robotics and Sensor-Based Localization被引用数 38

ひとこと要約

PolarMixは、忠実度を保ちながら点群を増強するための LiDAR 特化データ拡張戦略を2つ提案する—シーンレベルの方位角スワッピングとインスタンスレベルの回転貼付—、アーキテクチャとデータセット全体でセマンティックセグメンテーションと物体検出を改善し、教師なしドメイン適応を支援する。

ABSTRACT

LiDAR point clouds, which are usually scanned by rotating LiDAR sensors continuously, capture precise geometry of the surrounding environment and are crucial to many autonomous detection and navigation tasks. Though many 3D deep architectures have been developed, efficient collection and annotation of large amounts of point clouds remain one major challenge in the analytic and understanding of point cloud data. This paper presents PolarMix, a point cloud augmentation technique that is simple and generic but can mitigate the data constraint effectively across different perception tasks and scenarios. PolarMix enriches point cloud distributions and preserves point cloud fidelity via two cross-scan augmentation strategies that cut, edit, and mix point clouds along the scanning direction. The first is scene-level swapping which exchanges point cloud sectors of two LiDAR scans that are cut along the azimuth axis. The second is instance-level rotation and paste which crops point instances from one LiDAR scan, rotates them by multiple angles (to create multiple copies), and paste the rotated point instances into other scans. Extensive experiments show that PolarMix achieves superior performance consistently across different perception tasks and scenarios. In addition, it can work as plug-and-play for various 3D deep architectures and also performs well for unsupervised domain adaptation.

研究の動機と目的

• 注釈データの不足とドメインギャップに対処するために、LiDAR点群のデータ拡張を動機づける。
• 半可視性や深度依存密度など、LiDAR固有の特性を尊重する、シンプルで汎用的な拡張としてPolarMixを提案する。
• 複数の認識タスク（セマンティックセグメンテーション、物体検出）およびデータセット全体で改善を可能にする。
• 多様な3Dアーキテクチャおよび教師なしドメイン適応と互換性のあるプラグアンドプレイモジュールとしてPolarMixを実証する。

提案手法

• 極座標で動作する2つのクロススキャン拡張戦略を定義する：スキャン間の方位角セクターをシーンレベルで交換することと、複数の方位角で切り出した意味セマンティックインスタンスを回転・貼り付けるインスタンスレベルの手法。
• マスクと単純な幾何変換を用いて入力空間で操作を定式化し、LiDARデータの忠実度を維持する。
• 拡張スキャンとラベルを結合してトレーニングサンプルを形成し、基礎となる損失を変更せずに済むようにする。
• 実用のための実装の詳細とハイパーパラメータの選択（方位角範囲、回転角、確率）を提供する。

実験結果

リサーチクエスチョン

• RQ1 PolarMixは異なるアーキテクチャやデータセットにおいて、LiDARベースのセマンティックセグメンテーションと物体検出の性能を向上させることができるか。
• RQ2 PolarMixはデータ要件を削減し、LiDAR学習のデータ効率を向上させるか。
• RQ3 ソースドメインとターゲットドメインのデータを混合して、教師なしドメイン適応に拡張できるか。
• RQ4 2つの拡張コンポーネント（シーンレベルのスワッピングとインスタンスレベルの回転貼り付け）は、性能向上にどのように寄与するか。
• RQ5 PolarMixは多様なLiDARセンサーと走査構成でも有効か。

主な発見

• PolarMixはSemanticKITTI、nuScenes-lidarseg、SemanticPOSSで、MinkNet、SPVCNN、RandLA-Net、Cylinder3Dにおいてセマンティックセグメンテーションの一貫した性能向上をもたらす。
• PolarMixはデータ効率を向上させ、SemanticKITTIの2つのネットワークで約75%の注釈データで同等のmIoUを達成。
• PolarMixはPointPillar、Second、CenterNetで物体検出のmAPとnuScenes検出スコアを向上させる。
• SynLiDARからSemanticKITTIおよびSemanticPOSSへの教師なしドメイン適応で最先端の結果を達成。
• アブレーションではシーンレベルのスワッピングとインスタンスレベルの回転貼り付けが補完的な効果をもたらし、PolarMix全体が最大の改善をもたらす。