[論文レビュー] SynLiDAR: Learning From Synthetic LiDAR Sequential Point Cloud for Semantic Segmentation.

Aoran Xiao, Jiaxing Huang+3 more|arXiv (Cornell University)|Jul 12, 2021

3D Shape Modeling and Analysis参考文献 39被引用数 8

ひとこと要約

本稿では、密度のあるセマンティックアノテーションを備えた大規模な合成LiDAR点群データセットであるSynLiDARと、外観とスパarsity成分を分離することでシミュレーションから実世界へのギャップを低減するドメイン適応ネットワークPCT-Netを紹介する。実験の結果、SynLiDARはより少ない実世界のアノテーションで優れたセマンティックセグメンテーションモデルの学習を可能にし、PCT-Netは合成データを実データの分布に合わせることで性能をさらに向上させる。

ABSTRACT

Transfer learning from synthetic to real data has been proved an effective way of mitigating data annotation constraints in various computer vision tasks. However, the developments focused on 2D images but lag far behind for 3D point clouds due to the lack of large-scale high-quality synthetic point cloud data and effective transfer methods. We address this issue by collecting SynLiDAR, a synthetic LiDAR point cloud dataset that contains large-scale point-wise annotated point cloud with accurate geometric shapes and comprehensive semantic classes, and designing PCT-Net, a point cloud translation network that aims to narrow down the gap with real-world point cloud data. For SynLiDAR, we leverage graphic tools and professionals who construct multiple realistic virtual environments with rich scene types and layouts where annotated LiDAR points can be generated automatically. On top of that, PCT-Net disentangles synthetic-to-real gaps into an appearance component and a sparsity component and translates SynLiDAR by aligning the two components with real-world data separately. Extensive experiments over multiple data augmentation and semi-supervised semantic segmentation tasks show very positive outcomes - including SynLiDAR can either train better models or reduce real-world annotated data without sacrificing performance, and PCT-Net translated data further improve model performance consistently.

研究の動機と目的

• 3次元セマンティックセグメンテーションの分野において、大規模で高品質なポイントワイズアノテーションが付与された合成LiDAR点群データの不足を解消すること。
• 3次元ビジョンにおける転移学習を妨げる、合成データと実世界のLiDAR点群のドメインギャップを低減すること。
• 合成データから実世界データへの有効な転移学習を可能にする手法を開発すること。
• 合成データとドメイン適応を組み合わせることで、高価な実世界のアノテーションに依存する必要を減らすことを実証すること。

提案手法

• SynLiDARは、プロフェッショナルなグラフィックツールを用いて、正確な幾何的形状と包括的なセマンティッククラスを備えた多様で現実的である仮想環境を生成することで構築される。
• これらの仮想環境内でポイントワイズのセマンティックアノテーションが自動的に生成され、高品質で大規模な合成データを確保する。
• PCT-Netは、合成データから実データへのドメインギャップを外観とスパarsity成分に分離し、それぞれを実データと別々に一致させるように設計されている。
• ネットワークは、合成点群と実点群の間で外観とスパarsityの分布を別々に一致させることでドメイン適応を実現する。
• PCT-Netは2本のブランチアーキテクチャを用いて、分離された表現を学習し、合成データを実世界の特性に適合させる。
• 本手法は、データ拡張および半教師付き学習の両設定で評価され、その頑健性と一般化性能が検証されている。

実験結果

リサーチクエスチョン

• RQ1 密度のあるセマンティックアノテーションが付与された大規模で高品質な合成LiDAR点群データセットは、3次元セマンティックセグメンテーションの性能向上に寄与するか？
• RQ2 ドメイン適応手法は、3次元点群学習におけるシミュレーションから実世界へのギャップをどの程度効果的に縮小できるか？
• RQ3 合成データから実データへの転移学習は、性能の低下を伴わずに、高価な実世界のアノテーションの必要性を低減できるか？
• RQ4 ドメインシフトを外観とスパarsity成分に分離することで、3次元点群におけるドメイン適応がより効果的になるか？

主な発見

• SynLiDARを用いることで、限られた実世界のアノテーションでも、実世界データのみを用いたベースラインと比較して優れたセマンティックセグメンテーションモデルの学習が可能になる。
• SynLiDARで学習したモデルは、最先端の手法と同等の性能を達成しながら、実世界のアノテーションに依存する度合いを低減する。
• PCT-Netで変換された合成データを用いることで、複数のベンチマークおよび設定でモデル性能がさらに向上する。
• 分離されたドメイン適応アプローチは、特に外観とスパarsity特性において、シミュレーションから実世界へのギャップを効果的に低減する。
• 半教師付き学習の設定では、PCT-Netで変換されたデータを用いて微調整したモデルが、ベースライン手法と比較して一貫した性能向上を示す。
• SynLiDARとPCT-Netの組み合わせにより、セグメンテーション精度を損なわずに、実世界でアノテートされたデータの必要量を削減できる。