[論文レビュー] Revisiting Domain-Adaptive 3D Object Detection by Reliable, Diverse and Class-balanced Pseudo-Labeling

Zhuoxiao Chen, Yadan Luo+3 more|arXiv (Cornell University)|Jul 16, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、性能低下を抑えるために信頼性が高く多様性がありクラスがバランス取れた疑似ラベルを生成する、ドメイン適応型3Dオブジェクト検出のための新規フレームワークReDBを提案する。マルチクラス設定における性能低下を是正するため、ラベル信頼性を評価するためのクロスドメイン検査（CDE）、幾何的多様性を測定する重複ボックス数（OBC）、クラスバランス型自己学習を導入することで、先行SOTA手法に比べてnuScenes→KITTIベンチマークでmAPを23.15%向上させた。

ABSTRACT

Unsupervised domain adaptation (DA) with the aid of pseudo labeling techniques has emerged as a crucial approach for domain-adaptive 3D object detection. While effective, existing DA methods suffer from a substantial drop in performance when applied to a multi-class training setting, due to the co-existence of low-quality pseudo labels and class imbalance issues. In this paper, we address this challenge by proposing a novel ReDB framework tailored for learning to detect all classes at once. Our approach produces Reliable, Diverse, and class-Balanced pseudo 3D boxes to iteratively guide the self-training on a distributionally different target domain. To alleviate disruptions caused by the environmental discrepancy (e.g., beam numbers), the proposed cross-domain examination (CDE) assesses the correctness of pseudo labels by copy-pasting target instances into a source environment and measuring the prediction consistency. To reduce computational overhead and mitigate the object shift (e.g., scales and point densities), we design an overlapped boxes counting (OBC) metric that allows to uniformly downsample pseudo-labeled objects across different geometric characteristics. To confront the issue of inter-class imbalance, we progressively augment the target point clouds with a class-balanced set of pseudo-labeled target instances and source objects, which boosts recognition accuracies on both frequently appearing and rare classes. Experimental results on three benchmark datasets using both voxel-based (i.e., SECOND) and point-based 3D detectors (i.e., PointRCNN) demonstrate that our proposed ReDB approach outperforms existing 3D domain adaptation methods by a large margin, improving 23.15% mAP on the nuScenes $ ightarrow$ KITTI task. The code is available at https://github.com/zhuoxiao-chen/ReDB-DA-3Ddet.

研究の動機と目的

• 低品質な疑似ラベルとクラスのアンバランスが原因で生じるマルチクラス3Dドメイン適応における顕著な性能低下を是正すること。
• クロスドメイン3D検出における環境的・オブジェクト的シフトの影響を軽減すること。
• 多様な幾何的および分布的シフトに耐性を持つ検出性能を向上させる自己学習フレームワークの開発。
• ソースドメインとターゲットドメインの両方で予測を検証することで、疑似ラベルの信頼性を確保すること。
• 段階的なクラスバランス型データ拡張により、頻度の高いクラスとまれなクラスの両方の認識をバランスよく向上させること。

提案手法

• 疑似ラベルの信頼性を向上させるために、ターゲットドメインの疑似ラベル付きオブジェクトをソースドメインにコピーし、IoUを用いて予測の一貫性を測定することで、信頼性の低いラベルをフィルタリングするクロスドメイン検査（CDE）を導入する。
• 幾何的多様性を定量化し、スケール、密度、隠蔽度の異なるオブジェクトに対して一様なダウンサンプリングを可能にする、重複ボックス数（OBC）のメトリクスを設計する。
• レアクラスの検出性能を向上させるために、疑似ラベル付きインスタンスとソースオブジェクトのバランスの取れた混合を段階的にターゲット点群に追加する、クラスバランス型自己学習戦略を実装する。
• CDEをδ_cdeのしきい値を用いて適用し、ソースドメインとターゲットドメインの予測の一貫性が低い疑似ラベルを破棄する。
• OBCを用いて、幾何的特徴（サイズ、距離、隠蔽度など）に高い多様性を示すオブジェクトが保持されるように疑似ラベルをダウンサンプリングする。
• ReDBフレームワークをボクセルベース（例：SECOND）およびポイントベース（例：PointRCNN）の両検出器と統合し、モデルに依存しない性能向上を実証する。

実験結果

リサーチクエスチョン

• RQ1 3Dドメイン適応の過程で環境的・オブジェクト的シフトが生じる中で、疑似ラベルの信頼性をどのように向上させられるか？
• RQ2 モデルの同種オブジェクトへの崩壊を防ぐために、疑似ラベル付き3Dオブジェクトの幾何的多様性を的確に捉えるにはどのようなメトリクスが必要か？
• RQ3 クラスバランス型自己学習は、ドメインシフト下のマルチクラス3D検出において、まれなクラスの検出性能を顕著に向上させられるか？
• RQ4 提案手法は、ボクセルベースとポイントベースの異なる3D検出器アーキテクチャにどの程度一般化可能か？
• RQ5 CDEのIoUしきい値やOBCのダウンサンプリングレートといったハイパーパrameterの変動に、ReDBの性能はどの程度感受的か？

主な発見

• ReDBは、先行SOTA手法ST3Dに比べてnuScenes→KITTIベンチマークでmAPを23.15%向上させた。
• PointRCNNでは、中程度の検出しきい値（moderate）で23.32%、厳密なしきい値（hard）で24.11%のmAP向上を達成し、ST3D++や特化型単一クラス手法を上回った。
• アブレーションスタディの結果、ReDBの各モジュール（CDE、OBC、クラスバランス型学習）を削除するとmAPが明確に低下し、各モジュールの貢献が裏付けられた。
• CDE機構により、一貫性が低い疑似ラベルの30–40%がフィルタリングされ、ラベル品質が顕著に向上した。
• OBCに基づくダウンサンプリングにより、幾何的特徴に高い多様性を示すオブジェクト（例：大がかりな、遠く離れた、隠蔽されたもの）が優先的に保持された。
• ハイパーパrameterの変動に対して頑健であり、δ_cdeを0.3から0.6の範囲で変化させてもmAPの変動はたった2.69%にとどまり、高いダウンサンプリングレート（d=10）でも許容できる性能低下にとどまった。