[論文レビュー] SqueezeSegV2: Improved Model Structure and Unsupervised Domain Adaptation for Road-Object Segmentation from a LiDAR Point Cloud

BoRui Wu, Xuanyu Zhou+3 more|arXiv (Cornell University)|Sep 22, 2018

Advanced Neural Network Applications参考文献 34被引用数 35

ひとこと要約

SqueezeSegV2 は、ドロップアウトノイズを軽減するためのコンテキストアグリゲーションモジュール（CAM）と、3段階のドメイン適応パイプライン（学習済み強度レンダリング、測地的相関整合、段階的ドメインキャリブレーション）を備えた、LiDARに基づく道路オブジェクトセグメンテーションのための頑健なディーブラーニングモデルを提案する。これにより、合成データのGTA-Vで学習したモデルが、実データのKITTIデータ上で57.4%のmIoUを達成し、29.0%からほぼ2倍の性能向上を実現した。

ABSTRACT

Earlier work demonstrates the promise of deep-learning-based approaches for point cloud segmentation; however, these approaches need to be improved to be practically useful. To this end, we introduce a new model SqueezeSegV2 that is more robust to dropout noise in LiDAR point clouds. With improved model structure, training loss, batch normalization and additional input channel, SqueezeSegV2 achieves significant accuracy improvement when trained on real data. Training models for point cloud segmentation requires large amounts of labeled point-cloud data, which is expensive to obtain. To sidestep the cost of collection and annotation, simulators such as GTA-V can be used to create unlimited amounts of labeled, synthetic data. However, due to domain shift, models trained on synthetic data often do not generalize well to the real world. We address this problem with a domain-adaptation training pipeline consisting of three major components: 1) learned intensity rendering, 2) geodesic correlation alignment, and 3) progressive domain calibration. When trained on real data, our new model exhibits segmentation accuracy improvements of 6.0-8.6% over the original SqueezeSeg. When training our new model on synthetic data using the proposed domain adaptation pipeline, we nearly double test accuracy on real-world data, from 29.0% to 57.4%. Our source code and synthetic dataset will be open-sourced.

研究の動機と目的

• ドメインシフトのため、合成LiDARデータで学習したモデルの一般化性能の低さを解消すること。
• 実LiDARポイントクラウドにおけるドロップアウトノイズへのロバストネスを向上させ、性能低下の主な要因を軽減すること。
• 実データのアノテーションなしで、合成データと未ラベルの実データのみを用いて高精度なセグメンテーションを実現するドメイン適応パイプラインを開発すること。
• 実世界のKITTIベンチマークで最先端の性能を達成し、実データのアノテーションデータをトレーニングに使用せずに実現すること。

提案手法

• ドロップアウトノイズに起因する欠損ポイントに対してロバストであるよう、受容 field を拡大するコンテキストアグリゲーションモジュール（CAM）を導入する。
• 特に歩行者や自転車など、代表度が低いクラスのクラス不均衡を是正するため、フォーカル損失を適用する。
• バッチ正規化を導入し、LiDAR マスクを追加の入力チャネルとして組み込むことで、特徴学習を向上させる。
• 未ラベルの実データを用いて、合成ポイントクラウドのリアルな強度値を予測する自己教師付きニューラルネットワーク「学習済み強度レンダリング（LIR）」を実装する。
• トレーニング中に実データと合成データの分布のバッチ統計を一致させるために、測地的相関整合（GCA）を適用する。
• トレーニング後段階でドメイン差をさらに低減し、実世界への一般化性能を向上させるために、段階的ドメインキャリブレーション（PDC）をファインチューニングステップとして用いる。

実験結果

リサーチクエスチョン

• RQ1 修正されたCNNアーキテクチャは、LiDARポイントクラウドにおけるドロップアウトノイズへの感受性を低減させ、実データでのセグメンテーション精度を向上させることができるか？
• RQ2 ドメインシフトが存在する状況下で、GTA-Vからの合成データをどれだけ効果的に実世界のLiDARセグメンテーションに活用できるか？
• RQ3 強度レンダリング、統計的整合、キャリブレーションを組み合わせたマルチステージドメイン適応パイプラインは、合成データと実データのギャップをどれほど効果的に埋め合わせられるか？
• RQ4 ドロップアウトノイズへのモデルのロバストネスを向上させることで、合成データから実データへの転移性能が向上するか？

主な発見

• SqueezeSegV2 は、実KITTIデータで学習した場合、すべてのカテゴリで元のSqueezeSegと比較してmIoUが6.0%〜8.6%向上した。
• CAMの追加により、ドロップアウトノイズへの感受性が顕著に低下し、実データおよび合成データ両方の性能向上に寄与した。
• 合成GTA-Vデータで学習し、全ドメイン適応パイプラインを適用した場合、実KITTIテストデータで57.4%のmIoUを達成し、合成データで学習したベースラインの29.0%から28.4%の絶対的向上を実現した。
• ドメイン適応パイプラインは、強度特徴なしで実KITTIデータで学習したSqueezeSegモデルよりも優れた性能を示し、57.4% vs. 57.1%のmIoUを達成した。
• 測地的相関整合と段階的ドメインキャリブレーションの両方が、ドメイン差を低減させる上で有効であり、特にPDCが最大のインクリメンタルな向上をもたらした。
• 学習済み強度レンダリングは性能向上に顕著な寄与を示し、リアルな強度モデリングがLiDARセグメンテーションにおけるドメイン適応において極めて重要であることを示した。