[論文レビュー] WeakM3D: Towards Weakly Supervised Monocular 3D Object Detection

Liang Peng, Senbo Yan+4 more|arXiv (Cornell University)|Mar 16, 2022

Advanced Neural Network Applications被引用数 12

ひとこと要約

この論文では、3Dボックスアノテーションの代わりに2Dオブジェクト検出を用いてLiDARポイントクラウドからオブジェクト-LiDARポイントを弱い監視信号として抽出することで、高価な3Dボックスアノテーションの必要性を排除する弱教師付きモノクローラ3Dオブジェクト検出手法WeakM3Dを提案する。幾何的アライメント損失、表面の曖昧さを解消するレイトレーシング損失、不均一なポイント分布への対処のための損失バランス、および学習の分離を導入し、KITTIで最先端の性能を達成しており、一部の完全教師あり手法をも上回っている。

ABSTRACT

Monocular 3D object detection is one of the most challenging tasks in 3D scene understanding. Due to the ill-posed nature of monocular imagery, existing monocular 3D detection methods highly rely on training with the manually annotated 3D box labels on the LiDAR point clouds. This annotation process is very laborious and expensive. To dispense with the reliance on 3D box labels, in this paper we explore the weakly supervised monocular 3D detection. Specifically, we first detect 2D boxes on the image. Then, we adopt the generated 2D boxes to select corresponding RoI LiDAR points as the weak supervision. Eventually, we adopt a network to predict 3D boxes which can tightly align with associated RoI LiDAR points. This network is learned by minimizing our newly-proposed 3D alignment loss between the 3D box estimates and the corresponding RoI LiDAR points. We will illustrate the potential challenges of the above learning problem and resolve these challenges by introducing several effective designs into our method. Codes will be available at https://github.com/SPengLiang/WeakM3D.

研究の動機と目的

• モノクローラ3Dオブジェクト検出における高価な3Dボックスアノテーションへの依存を排除すること。
• 2Dオブジェクト検出とLiDARポイントクラウドを監視信号として活用する弱教師付き学習フレームワークの開発。
• アライメントの曖昧さ、不均一なポイント分布、3Dパラメータ推定の混合状態といった弱教師付き3D検出における主な課題への対処。
• 完全教師あり手法の一部を上回る性能を示す、弱教師付きモノクローラ3Dオブジェクト検出の強力なベースラインの確立。

提案手法

• モノクローラ画像上で2Dオブジェクト候補を生成するために市販の2D検出器を用いる。
• 2DバウンディングボックスをLiDARポイントクラウドに投影し、弱い監視信号としてオブジェクト-LiDARポイントを抽出する。
• 3Dボックス予測とオブジェクト-LiDARポイントの間の空間的距離を最小化するための幾何的ポイント・ボックスアライメント損失を導入する。
• カメラの光学中心からLiDARポイントへのレイトレースをシミュレートし、予測された3Dボックスと衝突するかを検出することで、アライメントの曖昧さを解消するレイトレーシング損失を提案する。
• ポイント密度に基づく損失バランスを適用し、不均一なLiDARポイント分布がポイントワイド損失関数に与える影響を軽減する。
• オブジェクトの次元を固定して学習を分離し、オブジェクト-LiDARポイントからヒューリスティックに姿勢を推定することで、学習負荷を軽減する。

実験結果

リサーチクエスチョン

• RQ1 2Dオブジェクト検出とLiDARポイントクラウドを効果的に統合することで、3Dボックスアノテーションなしに弱教師付きモノクローラ3Dオブジェクト検出を実現できるか？
• RQ2 単一の表面から撮影されたLiDARポイントに対して3Dボックス予測をマッチングする際、アライメントの曖昧さはどのように解消できるか？
• RQ3 不均一なLiDARポイント分布がポイントワイド損失関数に与える悪影響を軽減する戦略は何か？
• RQ4 3Dパラメータ推定を分離することで、弱教師付き設定における学習の安定性と性能はどのように向上するか？

主な発見

• WeakM3DはKITTI検証セットにおける車両カテゴリで58.20% BEV APおよび50.16% 3D AP（IoU=0.5）を達成し、多数の完全教師あり手法を上回った。
• アブレーションスタディの結果、幾何的アライメント、レイトレーシング、損失バランス、学習分離の各要素が性能向上に顕著に寄与することが確認された。
• 2Dボックス監視信号のみを用いても強力な性能を発揮し、55.94% BEV APおよび47.52% 3D APを達成した。これにより、弱い監視信号の有効性が裏付けられた。
• レイトレーシング損失の導入により、アライメントの曖昧さが軽減され、特に困難なサンプルにおける3D局所化精度が向上した。
• ポイント密度に基づく損失バランスにより、学習が安定化し、密集領域が損失勾配を支配するのを防いだ。
• 本手法は一般化性能に優れ、PatchNet や CenterNet といった異なるバックボーンネットワークへの適用でも同等の結果を達成した。