[論文レビュー] Lidar Point Cloud Guided Monocular 3D Object Detection

Peng Liang, Fei Liu+6 more|arXiv (Cornell University)|Apr 19, 2021

Advanced Neural Network Applications参考文献 51被引用数 7

ひとこと要約

本稿では、ラベルなしLiDAR点群を活用してモノクローラ3次元物体検出のための高品質な疑似3次元バウンディングボックスラベルを生成する、LPCGと呼ばれる新規フレームワークを提案する。これにより、ラベル付けコストを大幅に削減するとともに、性能が向上する。LiDARデータに内在する正確な3次元測定値を活用することで、アーキテクチャの変更なしに、モノクローラ検出器が大幅に拡張されたデータセットで学習可能となり、KITTIおよびWaymoベンチマークで最先端の結果を達成した。ラベル付きデータが10%のみの状況でも同様の性能を発揮した。

ABSTRACT

Monocular 3D object detection is a challenging task in the self-driving and computer vision community. As a common practice, most previous works use manually annotated 3D box labels, where the annotating process is expensive. In this paper, we find that the precisely and carefully annotated labels may be unnecessary in monocular 3D detection, which is an interesting and counterintuitive finding. Using rough labels that are randomly disturbed, the detector can achieve very close accuracy compared to the one using the ground-truth labels. We delve into this underlying mechanism and then empirically find that: concerning the label accuracy, the 3D location part in the label is preferred compared to other parts of labels. Motivated by the conclusions above and considering the precise LiDAR 3D measurement, we propose a simple and effective framework, dubbed LiDAR point cloud guided monocular 3D object detection (LPCG). This framework is capable of either reducing the annotation costs or considerably boosting the detection accuracy without introducing extra annotation costs. Specifically, It generates pseudo labels from unlabeled LiDAR point clouds. Thanks to accurate LiDAR 3D measurements in 3D space, such pseudo labels can replace manually annotated labels in the training of monocular 3D detectors, since their 3D location information is precise. LPCG can be applied into any monocular 3D detector to fully use massive unlabeled data in a self-driving system. As a result, in KITTI benchmark, we take the first place on both monocular 3D and BEV (bird's-eye-view) detection with a significant margin. In Waymo benchmark, our method using 10% labeled data achieves comparable accuracy to the baseline detector using 100% labeled data. The codes are released at https://github.com/SPengLiang/LPCG.

研究の動機と目的

• 完全にアノテートされた3次元ボックスラベルがモノクローラ3次元検出に不可欠であるかどうかを調査すること。
• 3次元ボックスラベルの各要素（位置、方向、寸法）のうち、検出器性能に最も影響を与える要因を特定すること。
• ラベルなしデータからの正確なLiDAR測定値を活用することで、モノクローラ3次元検出におけるラベル付けコストを低減すること。
• 任意のモノクローラ3次元検出器を、追加のラベル付けを伴わず、疑似ラベル化されたLiDAR点群を用いて強化できる、即挿し可能なフレームワークを開発すること。

提案手法

• フレームワークは、ラベルなしLiDAR点群から、事前学習済みのLiDAR検出器（高精度モード）またはヒューリスティックなクラスタリングとボックス推定手法（低コストモード）を用いて疑似3次元バウンディングボックスを生成する。
• 高精度モードでは、まず少数のラベル付きデータでLiDARベースの検出器を学習し、それを用いてラベルなしデータに対して高品質な疑似ラベルを生成する。
• 低コストモードでは、RoI（注目領域）のLiDAR点群を点クラスタリングおよび最小外接ボックス推定により直接的に疑似ラベルを生成する。このプロセスには3次元ボックスのアノテーションを一切必要としない。
• 生成された疑似ラベルを用いてモノクローラ3次元検出器を学習し、LiDAR測定の正確さのおかげで3次元位置情報が保持される。
• このフレームワークは、任意のモノクローラ3次元検出器と互換性があり、アーキテクチャの変更なしにスムーズに統合可能である。
• この手法により、膨大なラベルなしLiDARデータを用いた大規模な自己教師付き事前学習が可能となり、手動ラベル付けを回避しながら学習データを著しく拡張できる。

実験結果

リサーチクエスチョン

• RQ1 モノクローラ3次元検出に完全にアノテートされた3次元ボックスラベルが必要なのか、それともある程度の不正確さでも十分に機能するのか？
• RQ2 3次元ボックスラベルの各要素（位置、方向、寸法）のうち、検出器性能に最も大きな影響を与えるのはどれか？
• RQ3 ラベルなしLiDAR点群を効果的に活用して、モノクローラ3次元検出のための信頼性のある疑似ラベルを生成できるか？
• RQ4 LiDARデータを用いた自己教師付きフレームワークは、追加のラベル付けコストをかけずにモノクローラ3次元検出の精度を向上させられるか？

主な発見

• 3次元ボックスラベルを乱雑に変更（例えば、ランダムなシフトを加える）しても検出器性能にほとんど影響がなく、完全なアノテーションが必須ではないことが示された。
• ラベルの3次元位置情報が最も重要な要因である。これは、深度の曖昧さがモノクローラ3次元検出の主なボトルネックであるためである。
• Waymoベンチマークでは、ラベル付きデータを10%に制限した状況でも、LPCGを用いることで100%ラベル付きデータで学習したベースラインモデルと同等の性能を達成した。
• KITTIベンチマークでは、LPCGを用いることでモノクローラ3次元検出器が最先端の性能を達成し、モノクローラ3次元検出およびビューポイント（BEV）検出の両方で1位を獲得した。
• MonoGRNet、M3D-RPN、RTM3D、MonoFlexといった複数のモノクローラ検出器において、LPCGは一貫して性能を向上させ、中程度のセットにおいて最大+14.36 AP3D（IoU=0.5）および+11.20 AP3D（IoU=0.7）の向上を達成した。
• 単純なモノクローラ検出器（ResNet18バックボーンを搭載）でさえ、LPCGを適用することでより複雑なモデルと同等の性能を発揮した。これは、本フレームワークの強靭性とスケーラビリティを示している。