[論文レビュー] Complete & Label: A Domain Adaptation Approach to Semantic Segmentation of LiDAR Point Clouds

Li Yi, Boqing Gong+1 more|arXiv (Cornell University)|Jul 16, 2020

3D Shape Modeling and Analysis参考文献 68被引用数 21

ひとこと要約

本論文は、まずスパースな3D点群をSparse Voxel Completion Network (SVCN) を用いて密度の高い表面に補完し、その後その表面にセマンティックラベルを適用するという、LiDARD 3D点群のセマンティックセグメンテーションのドメイン適応手法を提案する。Waymo と nuScenes データセット間での転送において、最先端のドメイン適応手法よりも6.0–10.4のmIoU絶対値の向上を達成している。

ABSTRACT

We study an unsupervised domain adaptation problem for the semantic labeling of 3D point clouds, with a particular focus on domain discrepancies induced by different LiDAR sensors. Based on the observation that sparse 3D point clouds are sampled from 3D surfaces, we take a Complete and Label approach to recover the underlying surfaces before passing them to a segmentation network. Specifically, we design a Sparse Voxel Completion Network (SVCN) to complete the 3D surfaces of a sparse point cloud. Unlike semantic labels, to obtain training pairs for SVCN requires no manual labeling. We also introduce local adversarial learning to model the surface prior. The recovered 3D surfaces serve as a canonical domain, from which semantic labels can transfer across different LiDAR sensors. Experiments and ablation studies with our new benchmark for cross-domain semantic labeling of LiDAR data show that the proposed approach provides 8.2-36.6% better performance than previous domain adaptation methods.

研究の動機と目的

• 異なるLiDARセンサのサンプリングパターンの差異によって生じるLiDARセマンティックセグメンテーションにおけるドメインギャップを解消すること。
• 異なるLiDAR設定間での転移学習を可能にすることで、3D点群の手動ラベリングの高コストを軽減すること。
• ラベルなしの補完に必要なデータを必要とせず、3D表面に内在する幾何的プライオリティを活用してドメイン適応性能を向上させること。
• 一度のモデル訓練で未観測のLiDARセンサ設定にも一般化可能な表面補完モデルを構築することでドメイン一般化を実現すること。
• 手動ラベリングを回避しながら幾何的忠実性を保ちつつ、自己教師付きの表面補完フレームワークを構築し、下流のセグメンテーションに寄与すること。

提案手法

• 複数フレームの再構成から学習することで、スパースなLiDAR点群から完全な3D表面を再構築するSparse Voxel Completion Network (SVCN) を用いる。
• 完全な表面を複数のLiDARスイープから再構築する自己教師付きの監視信号を用いてSVCNを訓練し、手動ラベリングの必要を回避する。
• 局所的な adversarial 学習を導入することで表面のプライオリティをモデル化し、特に遮蔽やスパースな領域での補完品質を向上させる。
• スパース畳み込みU-Netを用いて補完された3D表面におけるセマンティックセグメンテーションを実行し、センサに依存しないラベリングを実現する。
• トレーニング中に極座標のビンをランダムにサンプリングすることでデータ拡張を実装し、多様なLiDARビームパターンをシミュレートすることでドメイン一般化を強化する。
• 補完品質の評価には表面補完IoUとChamfer Distance (CD) を、セマンティックセグメンテーションの性能評価にはmIoUを用いる。

実験結果

リサーチクエスチョン

• RQ1 異なるLiDARセンサのサンプリングパターンがセマンティックセグメンテーションに与えるドメインシフトを、3D表面補完が効果的に軽減できるか？
• RQ2 手動で設計されたサンプリングアライメント手法と比較して、自己教師付き表面補完からの学習は、クロスドメインLiDARセグメンテーションにおいてどのように優れているか？
• RQ3 ターゲットドメインでの微調整なしに、1つの表面補完ネットワークが複数の未観測LiDARセンサ設定にどの程度一般化できるか？
• RQ4 局所的な adversarial 学習を組み込むことで、3D表面補完の品質が向上し、結果として下流のセマンティックセグメンテーション性能が向上するか？
• RQ5 提案手法「Complete & Label」は、既存のドメイン適応およびデータ拡張ベースラインと比較して、クロスデータセットLiDARセグメンテーションでどの程度の性能向上を達成できるか？

主な発見

• Waymo から nuScenes への転送において、最先端のドメイン適応手法よりも6.0%のmIoU絶対値の向上を達成した。
• nuScenes から Waymo への転送においては10.4%のmIoU絶対値の向上を達成し、優れたクロスドメイン一般化性能を示した。
• 手動で設計されたサンプリングアライメントベースライン（B1およびB2）よりも4.2–5.6%のmIoUで優れており、補完の学習ベース手法が補間や再サンプリング手法を上回ることを示した。
• ドメイン一般化の設定では、Waymoデータでのみ学習した汎用的なSVCNが、nuScenes-lidarsegで49.8%、SemanticKITTIで59.6%のmIoUを達成し、微調整なしのベースラインを7%以上上回った。
• CDおよびIoUで測定した補完品質とセグメンテーション性能の間に相関関係が確認された：一般化モデルはnuScenesで25.7%のIoUおよび1.800mのCDを達成し、ドメイン適応モデルよりわずかに低いが、依然として高い有効性を示した。
• アブレーションスタディにより、局所的な adversarial 学習および多フレーム再構成の使用が、表面補完およびセグメンテーション精度を顕著に向上させることを確認した。