[論文レビュー] LaserMix for Semi-Supervised LiDAR Semantic Segmentation

Lingdong Kong, Jiawei Ren+2 more|arXiv (Cornell University)|Jun 30, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

LaserMixは、異なるスキャンからのレーザービームを混合することで空間的事前知識を活用する、LiDARセマンティックセグメンテーションのための新規半教師付き学習フレームワークを提案する。2倍から5倍少ないラベルで最先端の性能を達成し、nuScenesではmIoUを最大5.7%向上、SemanticKITTIでは3.5%向上する。モデル表現に依存せず、統計的に妥当な枠組みである。

ABSTRACT

Densely annotating LiDAR point clouds is costly, which restrains the scalability of fully-supervised learning methods. In this work, we study the underexplored semi-supervised learning (SSL) in LiDAR segmentation. Our core idea is to leverage the strong spatial cues of LiDAR point clouds to better exploit unlabeled data. We propose LaserMix to mix laser beams from different LiDAR scans, and then encourage the model to make consistent and confident predictions before and after mixing. Our framework has three appealing properties: 1) Generic: LaserMix is agnostic to LiDAR representations (e.g., range view and voxel), and hence our SSL framework can be universally applied. 2) Statistically grounded: We provide a detailed analysis to theoretically explain the applicability of the proposed framework. 3) Effective: Comprehensive experimental analysis on popular LiDAR segmentation datasets (nuScenes, SemanticKITTI, and ScribbleKITTI) demonstrates our effectiveness and superiority. Notably, we achieve competitive results over fully-supervised counterparts with 2x to 5x fewer labels and improve the supervised-only baseline significantly by 10.8% on average. We hope this concise yet high-performing framework could facilitate future research in semi-supervised LiDAR segmentation. Code is publicly available.

研究の動機と目的

• 密度の高いLiDARアノテーションの高コストを低減するため、限られたラベルデータでの半教師付き学習を可能にする。
• 特に距離に応じたレーザービームのパターン化された分布に起因する、LiDAR点群に内在する強力な空間的構造を活用する。
• 範囲ビュー、ボクセル、ポイントベースのLiDAR表現のすべてに適用可能な表現に依存しないSSL手法を開発する。
• ビーム混合の前後で同じ空間領域に対して一貫性があり、信頼性の高い予測がなされるようにすることで、モデルの頑健性と性能を向上させる。
• 標準ベンチマークデータセットにおいて、低データ（10–50%ラベル）および高データ（全ラベル）の両方の状況で有効性を実証する。

提案手法

• レーザービームの分布パターンに基づいて、LiDARスキャンを変動が小さい空間的領域に分割し、レーザービーム分布の空間的事前知識を活用する。
• 2つの異なるLiDARスキャンの対応する空間領域を、入れ違いの方法で混合するビームレベルの混合戦略「LaserMix」を提案する。
• 教師-生徒トレーニングパイプラインを採用し、同じ空間領域が混合前後で一貫した予測を出すようにモデルを促進する。
• 元の入力と混合入力の予測が一致するようにする一貫性正則化損失を適用し、一般化性能を向上させる。
• アーキテクチャの変更なしに、さまざまなLiDAR表現（例：範囲ビュー、ボクセル、ポイントベース）と互換性を持つように、生のポイントクラウド上で直接処理を行う。
• 理論的分析により、LiDARスキャンにおける空間的連続性と局所的均一性の仮定の下で、混合戦略の統計的妥当性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 LiDAR点群に内在する空間的事前知識は、半教師付き学習の性能向上に有効に活用できるか？
• RQ2 異なるスキャン間でのビームレベルの混合は、標準的なデータ拡張や対照学習に比べて、LiDARセグメンテーションにおいてより優れた一般化をもたらすか？
• RQ3 標準的なLiDARベンチマークにおいて、さまざまなラベル予算（例：10%、20%、50%、100%）でのLaserMixの性能はいかがなものか？
• RQ4 提案手法は、大幅に少ないアノテーションで完全教師ありSOTAモデルと同等の性能を達成できるか？
• RQ5 再トレーニングなしに、さまざまなLiDAR表現（例：範囲ビュー、ボクセル、ポイントクラウド）に対して、フレームワークが頑健かつ汎用的であるか？

主な発見

• nuScenesでは、学習ラベルの20%しか使用しなくても、完全教師ありベースラインに対してmIoUが5.7%向上した。
• SemanticKITTIでは、同じ学習環境下で、先行するSoTA手法よりもmIoUが最大3.5%向上した。
• わずか0.8%のラベルデータで、SemanticKITTIにおけるmIoUは54.4%に達し、100%ラベルで学習した完全教師ありモデル（PolarNetやRandLA-Net）と同等の性能を達成した。
• 完全教師ありSOTAモデルに比べて2倍から5倍少ないラベルで競争力のある結果を達成し、優れたデータ効率性を示した。
• アブレーションスタディにより、空間的事前知識が極めて重要であることが確認された：ビーム分割や混合を除去すると、性能が著しく低下した。
• 表現の観点からも汎用性が確認された：範囲ビュー、ボクセル、ポイントベースのモデルにそのまま適用可能であり、変更なしに有効であった。