[論文レビュー] Domain Adaptation in LiDAR Semantic Segmentation.

Íñigo Alonso, Luis Riazuelo+2 more|arXiv (Cornell University)|Oct 23, 2020

Advanced Neural Network Applications参考文献 20被引用数 11

ひとこと要約

本論文は、LiDAR画像のセマンティックセグメンテーションのための新しい教師なしドメイン適応フレームワークを提案する。この手法は、ソースドメインとターゲットドメイン間の入力空間分布の整合化と、セマンティッククラス分布の学習ベースの整合化によりドメインシフトを低減する。本手法は、3つの多様なドメインで最先端の性能を達成し、ラベルなしのターゲットデータを必要とせず、一般化性能を顕著に向上させる。

ABSTRACT

LiDAR semantic segmentation provides 3D semantic information about the environment, an essential cue for intelligent systems during their decision making processes. Deep neural networks are achieving state-of-the-art results on large public benchmarks on this task. Unfortunately, finding models that generalize well or adapt to additional domains, where data distribution is different, remains a major challenge. This work addresses the problem of unsupervised domain adaptation for LiDAR semantic segmentation models. Our approach combines novel ideas on top of the current state-of-the-art approaches and yields new state-of-the-art results. We propose simple but effective strategies to reduce the domain shift by aligning the data distribution on the input space. Besides, we propose a learning-based approach that aligns the distribution of the semantic classes of the target domain to the source domain. The presented ablation study shows how each part contributes to the final performance. Our strategy is shown to outperform previous approaches for domain adaptation with comparisons run on three different domains.

研究の動機と目的

• 新しい環境にモデルを展開する際、データ分布が異なる条件下で生じるLiDAR画像のセマンティックセグメンテーションにおけるドメインシフトの課題に対処すること。
• ターゲットドメインからのアノテーションデータを必要とせず、ドメイン間での一般化性能を向上させること。
• 教師なしドメイン適応のためのシンプルでありながら効果的なアプローチを開発し、入力空間とセマンティッククラス分布の両方の整合化を統合すること。
• アブレーション研究および比較研究を通じて、複数の多様なターゲットドメインで一貫した性能向上を実証すること。

提案手法

• ドメインシフトを低減するために、新しいデータレベルの適応戦略を用いて、ソースドメインとターゲットドメイン間の入力空間分布を整合化する。
• ターゲットドメインのセマンティッククラス分布をソースドメインの分布と一致させる学習ベースのアプローチを導入する。
• ドメイン整合化とセグメンテーション損失の共同最適化を通じて、ドメイン不変の表現を深層ニューラルネットワークが学習する。
• 敵対的訓練と特徴レベルの整合化を活用し、分布シフトに対してモデルのロバスト性を向上させる。
• まず入力特徴を整合化し、次にクラスレベルの分布整合化を用いてセマンティック予測を精緻化する、段階的な訓練手順を採用する。
• 訓練中にソースとターゲットの特徴を区別するディスクラミネーターを用いて、ドメイン不変の特徴学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 入力空間ドメイン整合化は、LiDAR画像のセマンティックセグメンテーションにおけるドメインシフトをどの程度効果的に低減できるか？
• RQ2 学習ベースのセマンティッククラス分布整合化は、未知のドメインへの一般化をどの程度向上させるか？
• RQ3 提案手法の個々の構成要素は、全体の性能向上にどの程度寄与しているか？
• RQ4 ラベルなしのターゲットデータを一切使用せずに、複数の多様なターゲットドメインで最先端の結果を達成できるか？
• RQ5 入力レベルの整合化とクラスレベルの整合化のどちらが、セグメンテーション精度により大きな影響を及ぼしているか？

主な発見

• 提案手法は、3つの異なるターゲットドメインで、従来の教師なしドメイン適応手法を上回る新たな最先端性能を達成した。
• アブレーションスタディの結果、入力空間とクラス分布の両方の整合化が性能向上に顕著に寄与することが確認された。
• 都市部、農村部、準都市部を含む多様なLiDARデータ分布に対しても、強力な一般化性能を示した。
• 入力レベルとセマンティックレベルの整合化の組み合わせにより、よりロバストな特徴学習と向上したセグメンテーション精度が得られた。
• 全評価ドメインで一貫した性能向上が確認され、ドメインシフトの効果的な緩和が示された。
• ソースドメインとターゲットドメインの分布に顕著な差異がある場合でも、本手法は有効であることが示された。