[論文レビュー] LiDARNet: A Boundary-Aware Domain Adaptation Model for Point Cloud Semantic Segmentation

Peng Jiang, Srikanth Saripalli|arXiv (Cornell University)|Mar 2, 2020

Advanced Neural Network Applications参考文献 46被引用数 13

ひとこと要約

LiDARNetは、2本のブランチで構成されるネットワークを用いてドメイン共有特徴とドメイン固有特徴を抽出することで、LiDAR点群のセマンティックセグメンテーションのための境界に配慮したドメイン適応モデルを提案する。Gated-SCNNを統合して境界を保持し、CycleGANベースの特徴マッピングを採用することで、SemanticKITTI、SemanticPOSS、および新しいデータセットであるSemanticUSLにおいて、ターゲットドメインでmIoUが8%-22%向上した一方で、ソースドメインでの性能はほぼ元の水準を維持した。

ABSTRACT

We present a boundary-aware domain adaptation model for LiDAR scan full-scene semantic segmentation (LiDARNet). Our model can extract both the domain private features and the domain shared features with a two-branch structure. We embedded Gated-SCNN into the segmentor component of LiDARNet to learn boundary information while learning to predict full-scene semantic segmentation labels. Moreover, we further reduce the domain gap by inducing the model to learn a mapping between two domains using the domain shared and private features. Additionally, we introduce a new dataset (SemanticUSL\footnote{The access address of SemanticUSL:\url{https://unmannedlab.github.io/research/SemanticUSL}}) for domain adaptation for LiDAR point cloud semantic segmentation. The dataset has the same data format and ontology as SemanticKITTI. We conducted experiments on real-world datasets SemanticKITTI, SemanticPOSS, and SemanticUSL, which have differences in channel distributions, reflectivity distributions, diversity of scenes, and sensors setup. Using our approach, we can get a single projection-based LiDAR full-scene semantic segmentation model working on both domains. Our model can keep almost the same performance on the source domain after adaptation and get an 8\%-22\% mIoU performance increase in the target domain.

研究の動機と目的

• センサーや環境、データ分布の違いによって生じるLiDAR点群セマンティックセグメンテーションにおけるドメインシフトを解消すること。
• ソースドメインでの性能を維持しつつ、ターゲットドメインへの一般化性能を向上させるドメイン適応モデルの開発。
• Gated-SCNNを用いて共有特徴空間における境界を明示的にモデル化することで、特徴学習を強化すること。
• 共有特徴と私的特徴の両方を二重サイクルマッピングすることで、ドメインギャップを低減すること。
• ドメイン適応評価のための多様なシーンとセンサーセットアップを備えた新しいベンチマークデータセット、SemanticUSLの導入。

提案手法

• モデルは2本のブランチアーキテクチャを採用：1つはSalsaNextに基づく共有特徴抽出器、もう1つはドメイン固有の特徴を抽出するための私的特徴抽出器。
• 共有特徴における境界情報の保持と精錬を目的に、セグメンテーションモジュールのデコーダーにGated-SCNNを統合。
• ドメイン共有特徴とドメイン固有特徴を用いて、ドメイン間の特徴分布を整列させるサイクルGAN風のマッピングネットワークを訓練。
• 私的特徴学習を補助するためにドメイン固有の分類器を用い、ドメイン固有の表現を強化。
• 特徴変換の品質を向上させるために、PatchGAN判別器とインスタンス正規化を採用。
• すべてのネットワークはSGDを用いてエンドツーエンドに訓練され、敵対的損失、セグメンテーション損失、境界に配慮した正則化が用いられる。

実験結果

リサーチクエスチョン

• RQ1 異なるLiDARデータ分布を持つターゲットドメインにおいて、ソースドメインでの高い性能を維持しつつ、そのドメイン適応モデルが顕著に性能を向上させられるか。
• RQ2 境界に配慮した特徴学習は、ドメイン間でのセマンティックセグメンテーションの一般化性能を向上させるのにどの程度効果的か。
• RQ3 共有特徴と私的特徴の共同学習は、LiDAR点群セグメンテーションにおけるドメインシフトをどの程度低減できるか。
• RQ4 提案されたサイクルGANベースの特徴マッピングは、投影された3次元点群におけるピクセルレベルの適応手法（例：CyCADA）と比較して、どの程度優れているか。
• RQ5 SemanticUSLのような新しい多様なデータセットは、クロスドメインLiDARセマンティックセグメンテーションの評価に有効なベンチマークとして機能できるか。

主な発見

• ソースドメイン（SemanticPOSS）では52.18%のmIoU、ターゲットドメイン（SemanticUSL）では31.72%のmIoUを達成し、優れた適応能力を示した。
• KITTI → USLの適応設定において、USLデータのみで訓練されたモデルよりも、ターゲットドメインでのmIoUが高く、優れた性能を示した。
• 適応後もソースドメインでの性能はほぼ同等を維持しており、ベースラインと比較してわずかな低下にとどまった。
• CycleGAN機構を除去した場合、USLでのmIoUは36.55%に低下し、ドメイン整合性が性能に与える重要性を示した。
• 境界に配慮したコンponentを除去した場合、mIoUは37.20%に低下し、境界の監視がセグメンテーション品質の向上に寄与していることを確認した。
• ピクセルレベルのCyCADA手法は、データ不足と局所的特徴の適応不足のため、特にSemanticPOSSでは十分に一般化できず、性能が低かった。