[論文レビュー] Semantic Segmentation of 3D LiDAR Data in Dynamic Scene Using Semi-supervised Learning

Jilin Mei, Biao Gao+4 more|arXiv (Cornell University)|Sep 3, 2018

Human Pose and Action Recognition被引用数 3

ひとこと要約

本稿では、動的シーンにおける3D LiDARセマンティックセグメンテーションのための半教師あり学習フレームワークを提案する。時間間隔間のデータ連携を活用して低コストなペairwise制約を生成し、ラベルと制約を統合した新しい損失関数を導入している。わずかな人為的ラベルと多数の制約データを用いることで、分類精度が10%以上向上し、モデルの新規シーンへの適応性が顕著に向上する。

ABSTRACT

This work studies the semantic segmentation of 3D LiDAR data in dynamic scenes for autonomous driving applications. A system of semantic segmentation using 3D LiDAR data, including range image segmentation, sample generation, inter-frame data association, track-level annotation and semi-supervised learning, is developed. To reduce the considerable requirement of fine annotations, a CNN-based classifier is trained by considering both supervised samples with manually labeled object classes and pairwise constraints, where a data sample is composed of a segment as the foreground and neighborhood points as the background. A special loss function is designed to account for both annotations and constraints, where the constraint data are encouraged to be assigned to the same semantic class. A dataset containing 1838 frames of LiDAR data, 39934 pairwise constraints and 57927 human annotations is developed. The performance of the method is examined extensively. Qualitative and quantitative experiments show that the combination of a few annotations and large amount of constraint data significantly enhances the effectiveness and scene adaptability, resulting in greater than 10% improvement

研究の動機と目的

• 自動運転のための3D LiDARセマンティックセグメンテーションにおけるピクセル単位のラベリングコストの低減。
• 最小限の再トレーニングで、新しい未観測シーンへのモデルの汎化性能と適応性の向上。
• 移動物体からの時間間隔間データ連携を活用し、低コストで豊富なペアワイズ制約を生成。
• 疎な人為的ラベルと密なペアワイズ制約を統合した共同損失関数の設計。
• 1838フレーム、39,934の制約、57,927件の人的ラベルを含む新規データセットの構築と、本手法の評価。

提案手法

• サンプルを、前景セグメント（例：移動物体）とその周囲の背景点のペアとして構築。
• 手動ラベルデータと、同じ／異なるクラス所属を示すペアワイズ制約の両方で訓練されたCNNベースの分類器を用いる。
• 制約ペアの分類不一致を最小化するとともに、真値ラベルを尊重するように設計されたカスタム損失関数を設計。
• 自己移動補正を適用して連続するLiDARフレームをアライメントし、時間間隔間のデータ連携を実現。
• トラッキングアルゴリズムを用いて、フレーム間で同一物体を関連付け、正例ペアワイズ制約を生成。
• 初期の半教師あり学習後、人為的に確認されたアンカーサンプルの少数を用いてモデルをファインチューニング。

実験結果

リサーチクエスチョン

• RQ1 連続するLiDARフレームにおけるトラッキングされた物体から得られるペアワイズ制約は、追加の人為的ラベルなしでセマンティックセグメンテーションを効果的に改善できるか？
• RQ2 少数の人的ラベルと多数の自動生成制約を組み合わせることで、モデルの性能と汎化性能にどのような影響を与えるか？
• RQ3 1つのシーンで学習した半教師ありモデルが、最小限の再トレーニングで新しい未観測シーンにどの程度適応できるか？
• RQ4 制約のみを用いた自己教師学習は失敗するのか？その理由は何か？
• RQ5 少数の確認済み人的ラベルを用いたファインチューニングは、新しい環境におけるモデル精度と適応性を顕著に向上させられるか？

主な発見

• 100件のペアワイズ制約を追加したことで、同じデータで訓練された教師ありベースラインと比較して平均Fスコアが9%向上した。
• 制約を組み込んだ半教師あり手法は、完全教師ありベースラインと比較して平均Fスコアを10%以上向上させた。
• 制約のみを用いた自己教師学習は失敗した。その理由は、損失関数が制約ペアの誤分類のみをペナルティとして扱い、全体のクラス分布には影響しなかったため。
• カテゴリごとに20件の確認済み人的ラベル、未知クラスに100件を用いたファインチューニングにより、制約のみのモデルと比較して平均Fスコアが13%向上した。
• ファインチューニッシュされたモデルは、トレーニングデータでは低い性能を示したが、サイクリストやトランクなどの困難なクラスを除き、多くのカテゴリで教師ありベースラインを上回った。
• 定性的な結果から、ファインチューニッシュされたモデルは、新しいシーンで以前に誤分類されていた物体（例：サイクリストや車両）を正しく分類できていた。