[論文レビュー] Weakly Supervised 3D Object Detection from Lidar Point Cloud

Qinghao Meng, Wenguan Wang+4 more|Lirias (KU Leuven)|Jul 23, 2020

Remote Sensing and LiDAR Applications参考文献 2被引用数 13

ひとこと要約

本稿では、500件の弱いラベルが付与された鳥瞰図（BEV）シーンと534件の正確な3Dインスタンスラベルのみを用いて学習する弱教師付き3Dオブジェクト検出フレームワークを提案する。2段階のアーキテクチャを採用し、最初にBEVの中心点から円筒型の候補領域を生成し、次にそれらを3Dボクシングに精錬する。この手法により、完全教師あり検出器の性能の85–95％を達成しながら、ラベリングコストを著しく削減する。

ABSTRACT

It is laborious to manually label point cloud data for training high-quality 3D object detectors. This work proposes a weakly supervised approach for 3D object detection, only requiring a small set of weakly annotated scenes, associated with a few precisely labeled object instances. This is achieved by a two-stage architecture design. Stage-1 learns to generate cylindrical object proposals under weak supervision, i.e., only the horizontal centers of objects are click-annotated on bird's view scenes. Stage-2 learns to refine the cylindrical proposals to get cuboids and confidence scores, using a few well-labeled object instances. Using only 500 weakly annotated scenes and 534 precisely labeled vehicle instances, our method achieves 85-95% the performance of current top-leading, fully supervised detectors (which require 3, 712 exhaustively and precisely annotated scenes with 15, 654 instances). More importantly, with our elaborately designed network architecture, our trained model can be applied as a 3D object annotator, allowing both automatic and active working modes. The annotations generated by our model can be used to train 3D object detectors with over 94% of their original performance (under manually labeled data). Our experiments also show our model's potential in boosting performance given more training data. Above designs make our approach highly practical and introduce new opportunities for learning 3D object detection with reduced annotation burden.

研究の動機と目的

• 完全にラベルが付与された点群に依存することを最小限に抑えることで、3Dオブジェクト検出の高いラベリングコストを低減すること。
• 大規模かつ正確にラベルが付与された3Dデータを収集する課題に取り組む。これは時間と費用がかかる。
• スパarselyかつ容易に入手可能なラベルから得られる弱教師付き情報を利用することで、3D検出器の実用的導入を可能にすること。
• ラベリング負荷をさらに軽減するため、アクティブまたは自動的な3Dラベリングツールとして機能するモデルを開発すること。

提案手法

• 段階1では、弱教師あり設定下でクリックラベルのみを用いて学習する2本のブランチネットワークを用い、BEV特徴マップからオブジェクト中心のヒートマップと前景ポイントマスクを予測する。
• 予測された中心点の周囲に、固定半径（歩行者：1m、車両：4m）を用いて円筒型の候補領域を生成し、y軸方向に無限に延長することで、欠落した高さ情報に対応する。
• 段階2では、少数の正確な3Dインスタンスラベルを用いて、円筒型の候補領域を3Dバウンディングボックスと信頼度スコアに精錬する。不完全な教師あり学習を適用する。
• ネットワークは2段階のトレーニングプロトコルを採用している：まず弱教師ありBEVデータで事前学習を行い、次に少数の正確なラベル付きインスタンスで微調整する。
• モデルは自動ラベリングモードとアクティブ（人間が関与する）ラベリングモードの両方をサポートしており、人間のクリックによって候補領域生成が改善される。
• 半径ベースのフィルタリング戦略を用いてトレーニングサンプルを選択する：真値中心点から0.5m以内の候補領域を監視に使用する。

実験結果

リサーチクエスチョン

• RQ1 BEVマップ上のクリックラベルのみと少数の正確な3Dインスタンスラベルを用いて、3Dオブジェクト検出を効果的に学習できるか？
• RQ2 スパarselyかつ不正確なラベルから得られる弱教師付き学習が、完全教師あり検出器の性能にどの程度近づけるか？
• RQ3 訓練された検出器を実用的かつ効率的な3Dラベリングツールとして再利用できるか？
• RQ4 本手法は、現実世界のシーンにおけるオクルージョン、スパarsな点群、背景のゴミ（クラッター）に対してどの程度頑健か？

主な発見

• 提案手法は、500件の弱教師ありラベル付きシーンと534件の正確なラベル付きインスタンスのみを用いても、最先端の完全教師あり検出器の性能の85–95％を達成する。
• 同じトレーニングデータを用いる場合、モデルの予測結果を用いて3D検出器を学習させることができ、完全にラベルが付与されたデータで学習した検出器の性能の94％以上を達成する。
• モデルは、重度にオクルージョンされた車両や混雑した歩行者シーンなど、困難な状況に対しても良好に一般化し、多くの場合で正確な3Dバウンディングボックスを生成する。
• アクティブラベリングモードにより、人間が関与する補正が可能となり、欠落や誤検出の問題を追加のクリックラベルによる監視で改善できる。
• 失敗事例の主な原因は、重度のオクルージョン、車両に似た背景オブジェクト、極めてスパarsな前景ポイントであり、マルチモodal入力を組み合わせることでさらなる改善が期待できる。
• 全3Dボックスラベリングではなく中心クリックを用いることで、完全な立方体ラベリングに比べてラベリング時間を約40–50倍短縮できる。