[論文レビュー] Weakly Supervised 3D Object Detection from Point Clouds

Zengyi Qin, Jinglu Wang+1 more|arXiv (Cornell University)|Jul 28, 2020

Advanced Neural Network Applications参考文献 43被引用数 5

ひとこと要約

本論文では、3次元バウンディングボックスのアノテーションを不要にする弱教師付き3次元オブジェクト検出フレームワークであるVS3Dを提案する。この手法は、正規化された点群密度と画像ベースの教師ネットワークからのクロスモーダル知識蒸留を用いて、無教師の3次元オブジェクト候補を生成する。KITTI上で強力な性能を発揮し、3次元の監視情報が一切不要な弱教師付き3次元検出で最先端の結果を達成した。

ABSTRACT

A crucial task in scene understanding is 3D object detection, which aims to detect and localize the 3D bounding boxes of objects belonging to specific classes. Existing 3D object detectors heavily rely on annotated 3D bounding boxes during training, while these annotations could be expensive to obtain and only accessible in limited scenarios. Weakly supervised learning is a promising approach to reducing the annotation requirement, but existing weakly supervised object detectors are mostly for 2D detection rather than 3D. In this work, we propose VS3D, a framework for weakly supervised 3D object detection from point clouds without using any ground truth 3D bounding box for training. First, we introduce an unsupervised 3D proposal module that generates object proposals by leveraging normalized point cloud densities. Second, we present a cross-modal knowledge distillation strategy, where a convolutional neural network learns to predict the final results from the 3D object proposals by querying a teacher network pretrained on image datasets. Comprehensive experiments on the challenging KITTI dataset demonstrate the superior performance of our VS3D in diverse evaluation settings. The source code and pretrained models are publicly available at https://github.com/Zengyi-Qin/Weakly-Supervised-3D-Object-Detection.

研究の動機と目的

• 3次元オブジェクト検出における高いアノテーションコストを低減するため、3次元バウンディングボックスのアノテーションを不要にする。
• 画像と点群のペアを活用してトレーニングする弱教師付きフレームワークを開発する。
• 幾何的ヒントを用いて、構造のない点群から正確な3次元オブジェクト候補を生成する。
• 画像ベースのモデルから点群検出器へ知識を転送するためのクロスモーダル蒸留を実現する。
• 最小限のアノテーション作業で、新しいシナリオに迅速に3次元検出器を展開可能にする。

提案手法

• 無教師の3次元オブジェクト候補モジュール（UPM）は、距離に依存しない正規化された点群密度（NPCD）に基づき、3次元アンカーを特定することで候補を生成する。NPCDはオブジェクトの存在をより的確に示す。
• UPMはNPCDに基づいてアンカーを選択し、重複する候補をフィルタリングすることで、98％以上のアンカーを削除しながら、オブジェクト関連の領域を保持する。
• クロスモーダル知識蒸留戦略により、事前学習済みの画像分類器（教師）から点群ベースの検出器（生徒）へ知識を転送する。この際、投影された3次元候補を用いる。
• 生徒ネットワークは、オブジェクト分類と回転回帰の予測を教師モデルが行うのを模倣することで、3次元ラベルが一切ない状態で弱教師学習を可能にする。
• フレームワークは、画像と点群のペアを用い、候補を画像上に投影することで教師ネットワークが分類を実行する。
• 蒸留損失を用いてエンドツーエンドで学習されるため、生徒は3次元アノテーションが一切ない状態で画像レベルの監視情報からのみ学習可能になる。

実験結果

リサーチクエスチョン

• RQ1 3次元アノテーションが一切ない状態でも、生の点群から効果的に3次元オブジェクト候補を生成できるか？
• RQ2 画像ベースのモデルからの知識を、点群ドメインにおける3次元オブジェクト検出の性能向上に成功して転送できるか？
• RQ3 正規化された点群密度は、生の密度やフィルタリングなしのアンカー戦略に比べて、オブジェクト候補の質において優れているか？
• RQ4 トレーニング時に真の3次元ボックスが一切使われない状態でも、弱教師付き3次元検出の性能はどの程度か？
• RQ5 LiDAR、単眼、ステレオといった異なる入力モodal（モダリティ）に、この手法はどのように一般化するか？

主な発見

• 提案された正規化された点群密度（NPCD）は、生の点群密度やフィルタリングなしのアンカー戦略を上回り、遠方のオブジェクトにおける誤検出を低減した。
• UPMは、98％以上の冗長なアンカーを削除しながらも、オブジェクト関連の候補を保持しており、効率性と正確性の両面で顕著な向上を実現した。
• VS3Dは、弱教師付き3次元オブジェクト検出においてKITTIデータセットで最先端の性能を達成した。一部の指標では、完全に教師付きのベースラインを上回ることさえも確認された。
• 単眼およびステレオ版のVS3Dは、2次元指標および低IoU 3次元指標においてLiDAR版を上回った。これは、画像から得られる高解像度の点群による利点による。
• LiDAR版は高IoU 3次元指標において優れた性能を示し、LiDARデータの幾何的正確性の利点を裏付けた。
• クロスモーダル蒸留戦略により、生徒ネットワークは3次元アノテーションが一切ない状態でも、画像レベルの監視情報からのみ学習し、強力な一般化性能を発揮した。