[論文レビュー] Exploring Diversity-based Active Learning for 3D Object Detection in Autonomous Driving

Lin, Jinpeng, Zhihao Liang+6 more|arXiv (Cornell University)|May 16, 2022

Machine Learning and Algorithms被引用数 9

ひとこと要約

本稿では、GPS/IMUデータを用いて空間的・時間的多様性に基づき情報量の多いサンプルを選択する、3Dオブジェクト検出のための多様性ベースのアクティブラーニング手法を提案する。実際のアノテーションコスト設定（フレームおよび3Dバウンディングボックスの両方のコストを考慮）において、不確実性ベースおよびランダムサンプリングを上回り、nuScenes上で最先端の性能を達成するとともに、サンプル効率を向上させ、コールドスタート問題を軽減する。

ABSTRACT

3D object detection has recently received much attention due to its great potential in autonomous vehicle (AV). The success of deep learning based object detectors relies on the availability of large-scale annotated datasets, which is time-consuming and expensive to compile, especially for 3D bounding box annotation. In this work, we investigate diversity-based active learning (AL) as a potential solution to alleviate the annotation burden. Given limited annotation budget, only the most informative frames and objects are automatically selected for human to annotate. Technically, we take the advantage of the multimodal information provided in an AV dataset, and propose a novel acquisition function that enforces spatial and temporal diversity in the selected samples. We benchmark the proposed method against other AL strategies under realistic annotation cost measurement, where the realistic costs for annotating a frame and a 3D bounding box are both taken into consideration. We demonstrate the effectiveness of the proposed method on the nuScenes dataset and show that it outperforms existing AL strategies significantly. Code is available at https://github.com/Linkon87/Exploring-Diversity-based-Active-Learning-for-3D-Object-Detection-in-Autonomous-Driving

研究の動機と目的

• 大規模な人工作業によるアノテーションに依存しない、自律走行における3Dオブジェクト検出の高コスト問題を軽減すること。
• 既存のアクティブラーニング手法の限界、特に多様性に基づく戦略の欠如と現実的なコストモデリングの不足を克服すること。
• モデルアーキテクチャーや特徴抽出器の品質に依存しない、すべての3D検出器に適用可能な汎用的な獲得関数を開発すること。
• モデル予測に依存しない初期バッチ選択を可能にすることで、アクティブラーニングにおけるコールドスタート問題を軽減すること。
• フレームレベルおよびインスタンスレベルの両方のアノテーションコストを考慮した現実的な評価フレームワークを提供すること。

提案手法

• GPS/IMUデータを用いて空間的多様性を強制する新しい獲得関数を提案し、異なる場所からのサンプルを選択する。
• 時間的多様性を導入し、異なる時間ステップからのサンプルを選択することで、変化するシーンのダイナミクスやオブジェクトの外観をカバーする。
• 空間的・時間的多様性と特徴ベースの多様性（深層特徴を用いて）を組み合わせ、初期予算に達した後のみ特徴ベースの多様性を活性化することで、信頼性の低い初期特徴を避ける。
• GPS座標間のユークリッド距離および多様体距離を用いて空間的多様性を定義し、多様体距離が優れた性能を示す。
• アノテーションコストをフレームコスト（$c_f$）とバウンディングボックスコスト（$c_b$）の重み付き和としてモデル化し、異なるコスト制度における現実的な評価を可能にする。
• モデル予測に依存しないウォームスタート戦略を採用し、空間的・時間的多様性を活用して初期バッチを情報量の多いものに選択する。

Figure 1: Distribution of samples selected by different active learning strategies and the corresponding performance - (a) Uncertainty, (b) Feature Diversity, (c) Temporal Diversity, (d) Spatial Diversity and (e) Combined Spatial and Temporal Diversity. (f) Performance curves on nuScenes. Colors rep

実験結果

リサーチクエスチョン

• RQ1 空間的および時間的次元における多様性ベースのアクティブラーニングは、アノテーションコストを削減しつつ、3Dオブジェクト検出性能を顕著に向上させることができるか？
• RQ2 フレームおよび3Dボックスアノテーションコストの両方を考慮した現実的なアノテーションコストモデリングは、アクティブラーニング戦略の評価とランク付けにどのように影響するか？
• RQ3 提案された獲得関数は、最初のバッチにモデル予測を必要としない状態で、アクティブラーニングにおけるコールドスタート問題を効果的に解消できるか？
• RQ4 性能と収束速度の観点から、空間的・時間的・特徴ベースの多様性項の最適なトレードオフは何か？
• RQ5 GPS/IMUデータの位置決め誤差に対して、本手法はどれほど頑健か？また、時間的および特徴ベースの多様性はこうした制限を緩和できるか？

主な発見

• 提案された空間＋時間的多様性手法は、4800コスト予算でnuScenesで44.85% mAPを達成し、ベースライン（44.64%）および他のすべてのベースラインを上回る。
• 空間的多様性に多様体距離を用いることで、4800コストで43.68% mAPを達成し、ユークリッド距離（42.98%）を0.7ポイント上回る。
• 1200コストのウォームアップ後に特徴多様性を有効化すると最良の性能（4800コストで45.02% mAP）が得られ、特徴統合の最適タイミングが示された。
• 特徴多様性の重み$\lambda_f = 1$に設定すると最高の性能（4800コストで45.02% mAP）が得られ、これより高いまたは低い値では性能が低下する。
• 本手法は、最も現実的な設定（$c_f=0.6, c_b=0.04$）を含む、すべてのコスト測定設定において不確実性ベースおよびランダムサンプリングを一貫して上回る。
• 空間的・時間的多様性を活用したウォームスタートにより、コールドスタート問題が軽減され、収束が速くなり、長期的な性能が向上する。

Figure 2: The proposed AL pipeline for 3D object detection. The spatial, temporal and feature diversity terms are complementary to each other.