[論文レビュー] ePointDA: An End-to-End Simulation-to-Real Domain Adaptation Framework for LiDAR Point Cloud Segmentation

Sicheng Zhao, Yezhen Wang+6 more|arXiv (Cornell University)|Sep 7, 2020

Advanced Neural Network Applications参考文献 73被引用数 8

ひとこと要約

ePointDA は、LiDAR ポイントクラウド分類のためのエンドツーエンドのシミュレーションから実世界へのドメイン変換フレームワークであり、ピクセルレベルのドロップアウトノイズと特徴レベルのドメインシフトに対処する。自己教師付きドロップアウトノイズ再現と統計に依存しない空間的に適応する特徴アライメントを用いて、実世界の統計を必要とせず、KITTI および SemanticKITTI ベンチマークで最先端の性能を達成する。

ABSTRACT

Due to its robust and precise distance measurements, LiDAR plays an important role in scene understanding for autonomous driving. Training deep neural networks (DNNs) on LiDAR data requires large-scale point-wise annotations, which are time-consuming and expensive to obtain. Instead, simulation-to-real domain adaptation (SRDA) trains a DNN using unlimited synthetic data with automatically generated labels and transfers the learned model to real scenarios. Existing SRDA methods for LiDAR point cloud segmentation mainly employ a multi-stage pipeline and focus on feature-level alignment. They require prior knowledge of real-world statistics and ignore the pixel-level dropout noise gap and the spatial feature gap between different domains. In this paper, we propose a novel end-to-end framework, named ePointDA, to address the above issues. Specifically, ePointDA consists of three modules: self-supervised dropout noise rendering, statistics-invariant and spatially-adaptive feature alignment, and transferable segmentation learning. The joint optimization enables ePointDA to bridge the domain shift at the pixel-level by explicitly rendering dropout noise for synthetic LiDAR and at the feature-level by spatially aligning the features between different domains, without requiring the real-world statistics. Extensive experiments adapting from synthetic GTA-LiDAR to real KITTI and SemanticKITTI demonstrate the superiority of ePointDA for LiDAR point cloud segmentation.

研究の動機と目的

• 合成と実世界の LiDAR ポイントクラウドの間のドメインシフトを、セマンティック分類タスクにおいて解消すること。
• 従来のマルチステージでエンドツーエンドでない SRDA 方法の限界を克服し、ピクセルレベルのドロップアウトノイズと空間的特徴ギャップを無視しないこと。
• ドメイン変換に実世界の事前統計に依存しないようにし、継続的な実データの追加に対してもロバスト性を確保すること。
• エンドツーエンドのフレームワーク内でピクセルレベルのノイズ再現と特徴レベルのアライメントを統合的にモデル化することで、分類性能を向上させること。
• 合成データを用いて、実世界の自動運転シナリオにおける LiDAR ベースのモデルの実用的導入を可能にすること。

提案手法

• ラベルなしの実データを用いて点座標からドロップアウトノイズを予測する自己教師付きドロップアウトノイズ再現（SDNR）モジュールを導入する。
• ドメイン間の統計に依存しない特徴アライメントを達成するため、インスタンス正規化と高次モーメントマッチング（HoMM）を採用する。
• 空間的特徴ギャップを埋めるために、ドメインに依存しないアテンションを組み込んだ空間的に適応する畳み込みを統合する。
• SDNR、特徴アライメント、分類ヘッドを統合した単一のエンドツーエンド学習パイプラインを構築する。
• 幾何的構造を保持しつつ、効率的な処理を実現するため、3次元 LiDAR ポイントクラウドを球面投影により2次元画像に変換する。
• 分類、ノイズ再現、特徴アライメントの目的関数を統合的に最適化するマルチステージ損失を適用する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのフレームワークは、合成ドメインと実ドメイン間の LiDAR ポイントクラウド分類におけるドメインシフトを効果的に低減できるか？
• RQ2 ピクセルレベルのドロップアウトノイズを明示的にモデル化することで、ドメイン変換性能がどのように向上するか？
• RQ3 事前実世界統計を必要とせず、統計に依存しないおよび空間的に適応する特徴アライメントによって、特徴レベルのドメインギャップはどの程度低減できるか？
• RQ4 ノイズ再現と特徴アライメントの同時最適化は、逐次的またはパイプライン型のアプローチと比べてどのように異なるか？
• RQ5 提案手法は、再トレーニングなしに KITTI や SemanticKITTI といった異なる実世界データセットに一般化可能か？

主な発見

• KITTI データセットにおいて、ePointDA は平均 mIoU 66.2% を達成し、SOTA の SqueezeSegV2 に比べて 2.0 パcentage points の上回りを記録した。
• より複雑な SemanticKITTI ベンチマークでは、ePointDA は mIoU 54.1% を達成し、ベースラインおよび既存の SRDA 方法を著しく上回った。
• アブレーションスタディの結果、SDNR と ASAC（アライメント済み空間的適応畳み込み）の組み合わせが最良の性能を示し、ベースラインから 2.0% の mIoU 向上を達成した。
• デコンボリューション層の後に追加される畳み込み層の数は性能に影響を与え、2層が受容 field を最適化し、最高の分類結果をもたらした。
• 可視化結果から、再現されたドロップアウトノイズが実世界のパターンとよく一致しており、自己教師付きノイズ再現モジュールの有効性が裏付けられた。
• ePointDA は歩行者における誤検出を低減し、欠損点が生じるような困難な実世界シナリオでも、物体境界の予測精度を向上させた。