[論文レビュー] Transfer Learning from Synthetic to Real LiDAR Point Cloud for Semantic Segmentation

Aoran Xiao, Jiaxing Huang+3 more|arXiv (Cornell University)|Jul 12, 2021

Domain Adaptation and Few-Shot Learning被引用数 12

ひとこと要約

本稿では、32のセマンティッククラスにわたり190億ポイントのポイントワイズアノテーションを有する大規模な合成LiDAR点群データセットであるSynLiDARを紹介するとともに、外観とスパarsityの違いに別々に対処することで、合成データと実データのドメインギャップを低減する新規なポイントクラウド翻訳手法PCTを提案する。PCTは、データ拡張、半教師あり、教師なしドメイン適応の設定において、セマンティックセグメンテーション性能を顕著に向上させ、SemanticKITTIおよびSemanticPOSSで最先端の結果を達成する。

ABSTRACT

Knowledge transfer from synthetic to real data has been widely studied to mitigate data annotation constraints in various computer vision tasks such as semantic segmentation. However, the study focused on 2D images and its counterpart in 3D point clouds segmentation lags far behind due to the lack of large-scale synthetic datasets and effective transfer methods. We address this issue by collecting SynLiDAR, a large-scale synthetic LiDAR dataset that contains point-wise annotated point clouds with accurate geometric shapes and comprehensive semantic classes. SynLiDAR was collected from multiple virtual environments with rich scenes and layouts which consists of over 19 billion points of 32 semantic classes. In addition, we design PCT, a novel point cloud translator that effectively mitigates the gap between synthetic and real point clouds. Specifically, we decompose the synthetic-to-real gap into an appearance component and a sparsity component and handle them separately which improves the point cloud translation greatly. We conducted extensive experiments over three transfer learning setups including data augmentation, semi-supervised domain adaptation and unsupervised domain adaptation. Extensive experiments show that SynLiDAR provides a high-quality data source for studying 3D transfer and the proposed PCT achieves superior point cloud translation consistently across the three setups. SynLiDAR project page: \url{https://github.com/xiaoaoran/SynLiDAR}

研究の動機と目的

• 3次元セマンティックセグメンテーションのための、大規模かつ正確にアノテーションされた合成LiDAR点群データの不足を解消すること。
• 3次元シーン理解における効果的な転移学習を妨げる、合成LiDAR点群と実LiDAR点群の間のドメインギャップを克服すること。
• 外観とスパarsityの両方の分布に適応する、強固で一般化可能な合成ポイントクラウドの翻訳手法を開発すること。
• データ拡張、半教師あり、教師なしドメイン適応の複数の学習パラダイムにおける、合成から実世界への転移の有効性を評価すること。

提案手法

• SynLiDARは、高度な3次元モデリングツールを用いて複数のプロフェッショナル設計の仮想環境から構築され、32のクラスにわたり幾何学的正確性とセマンティックの豊かさを確保している。
• PCTは、合成から実世界へのドメインギャップを2つの要因に分解する：環境の違いに起因する外観の違いと、センサのサンプリングに起因するスパarsityの違い。
• 外観翻訳モジュール（ATM）は、合成ポイントクラウドをアップサンプリングし、学習されたスタイル変換を用いて実データの視覚的外観に一致させる。
• スパarsity翻訳モジュール（STM）は、実ポイントクラウドからスパarsity特徴を抽出し、ATMの出力と統合することで、実センサのスパarsityパターンを模倣する。
• 本手法は入力空間で動作し、モデル学習の前に合成ポイントクラウドを変換するため、既存のセグメンテーションネットワークと直接互換性を持つ。
• 広範な評価が、データ拡張、半教師ありドメイン適応（SSDA）、教師なしドメイン適応（UDA）という3つの転移学習設定において実施された。

実験結果

リサーチクエスチョン

• RQ1 豊富なセマンティックアノテーションを有する大規模で高品質な合成LiDAR点群データセットは、実世界のポイントクラウドセグメンテーションの性能向上に効果的か？
• RQ2 合成と実LiDAR点群のドメインギャップは、どのように効果的に分解され、低減可能か？
• RQ3 入力空間で外観とスパarsityを別々に処理することで合成ポイントクラウドを翻訳することは、従来の特徴空間や出力空間の手法に比べ、より良い一般化性能をもたらすか？
• RQ4 PCTで翻訳された合成データは、3次元セマンティックセグメンテーションにおける実世界のアノテーションの必要性をどの程度低減できるか？

主な発見

• データ拡張設定では、PCTで翻訳されたSynLiDARを用いることで、SemanticKITTIではmIoUが2.2%向上、SemanticPOSSでは2.6%向上した。
• 半教師ありドメイン適応では、PCTとAPEを組み合わせることで、SemanticKITTIでmIoUが27.0%、SemanticPOSSで31.2%に向上し、新たな最先端性能を達成した。
• 教師なしドメイン適応では、PCT単体でSemanticKITTIでmIoUが3.5%向上、SemanticPOSSで2.8%向上し、STと組み合わせることでさらなる向上が得られた。
• PCTで翻訳されたSynLiDARを用いることで、SemanticPOSSでは実データ使用量を40%削減しても性能に劣化が生じず、優れたデータ効率性を示した。
• PCTと最先端のUDA手法（例：ST）を組み合わせることで、SemanticKITTIでmIoU 28.9%、SemanticPOSSでmIoU 29.6%という新たな最先端のmIoUを達成した。
• SynLiDARの高い幾何学的忠実度とセマンティックの多様性は、3次元ポイントクラウドセグメンテーションにおける合成から実世界への転移の強力で信頼できるソースドメインである。