[論文レビュー] Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D Object Detection

Deepti Hegde, Vishal M. Patel|arXiv (Cornell University)|Nov 30, 2021

Advanced Neural Network Applications被引用数 5

ひとこと要約

本論文は、自己学習中にノイズの多い疑似ラベルを精錬するトランスフォーマーに基づく注意メカニズム付きプロトタイプを用いた、3次元オブジェクト検出のソースフリーで教師なしドメイン適応フレームワークを提案する。顕著で高不確実性の領域に注目し、誤った過信した予測を軽減することで、ドメインシフト下での検出mAPを向上させた。Waymo→KITTIおよびnuScenes→KITTIベンチマークにおいて、先行SOTAを上回り、mAPで最大12.5%の向上を達成した。

ABSTRACT

3D object detection networks tend to be biased towards the data they are trained on. Evaluation on datasets captured in different locations, conditions or sensors than that of the training (source) data results in a drop in model performance due to the gap in distribution with the test (or target) data. Current methods for domain adaptation either assume access to source data during training, which may not be available due to privacy or memory concerns, or require a sequence of lidar frames as an input. We propose a single-frame approach for source-free, unsupervised domain adaptation of lidar-based 3D object detectors that uses class prototypes to mitigate the effect pseudo-label noise. Addressing the limitations of traditional feature aggregation methods for prototype computation in the presence of noisy labels, we utilize a transformer module to identify outlier ROI's that correspond to incorrect, over-confident annotations, and compute an attentive class prototype. Under an iterative training strategy, the losses associated with noisy pseudo labels are down-weighed and thus refined in the process of self-training. To validate the effectiveness of our proposed approach, we examine the domain shift associated with networks trained on large, label-rich datasets (such as the Waymo Open Dataset and nuScenes) and evaluate on smaller, label-poor datasets (such as KITTI) and vice-versa. We demonstrate our approach on two recent object detectors and achieve results that out-perform the other domain adaptation works.

研究の動機と目的

• ソースデータ（例：Waymo、nuScenes）とターゲットデータ（例：KITTI）の間の分布差異によって引き起こされる3次元オブジェクト検出におけるドメインシフトの課題に対処すること。
• 特に偽陽性からの影響を受けるノイズの多い疑似ラベル下で、従来の特徴集約によるプロトタイプ計算の限界を克服すること。
• ソースデータや連続レーザースキャンフレームへのアクセスを一切不要としない、ソースフリーで1フレームのみを入力とするドメイン適応手法の開発。
• 注意ベースのプロトタイプ精錬により、誤った高信頼度の疑似ラベルを軽減することで、自己学習のロバスト性を向上させること。
• ソースデータやフレームシーケンスに依存せずに、複数の3次元オブジェクト検出ドメインシフトシナリオで最先端の性能を達成すること。

提案手法

• アテンション重みに基づいて特徴マップ内の顕著な領域（注目領域、ROIs）を特定するトランスフォーマーモジュールを用いて、クラスプロトタイプを計算する。
• 予測のエントロピーが分類の不確実性を反映するように、注意を向けたROIsからの特徴をエントロピー加重平均で統合する。
• 得られた注意プロトタイプを用いて各ROIsの類似度スコアを計算し、高信頼度で誤った疑似ラベルを特定・軽減する。
• 反復的なメタ最適化を伴う自己学習ループに精錬済み疑似ラベルを統合し、時間経過とともにラベル品質を向上させる。
• 先行する3次元ドメイン適応手法で一般的な複数フレームシーケンスに依存しない、1フレーム入力に特化する。
• 検出損失と、誤り伝搬を抑制するプロトタイプベースの一貫性損失の組み合わせにより、検出器をエンドツーエンドで訓練する。

Figure 1 : Top row: Visual representations of prototype computation. On the left hand side is a depiction of a standard feature aggregation approach for prototype computation. In the case of noisy labels, features corresponding to mis-labeled regions that are not discarded by outlier removal contrib

実験結果

リサーチクエスチョン

• RQ1 標準的なプロトタイプ計算がノイズの多いラベルのため失敗する状況下で、ソースフリーで教師なしドメイン適応における疑似ラベル品質をどのように向上させられるか？
• RQ2 偽陽性アノテーションが存在する中で、トランスフォーマーに基づくアテンションメカニズムが、信頼性の高い顕著な領域を効果的に特定・優先できるか？
• RQ3 注意重み付きプロトタイプを用いた反復的自己学習は、ドメイン適応の過程で誤り伝搬をどの程度低減できるか？
• RQ4 Waymo→KITTI や nuScenes→KITTI などの多様なドメインシフトシナリオにおいて、提案手法は既存のSOTA手法と比較してmAPでどの程度優れているか？
• RQ5 データスケールの不均衡が生じる場合、例えば小規模なデータセットから大規模なデータセットへ適応する際、本手法は依然として有効であるか、それともデータスケールの差に制限を受けるか？

主な発見

• 提案手法は、Waymo→KITTIドメインシフトにおいて71.56%の3次元mAPを達成し、直接転送（DT）と比較して12.5%の向上を示し、先行SOTAを上回った。
• nuScenes→KITTIのシフトにおいては、ハードサンプルで45.86%のmAPを達成し、多様なドメインギャップに耐性があることを示した。
• 反復的トレーニングスキームにより、mAPの継続的向上が確認された：Waymo→KITTIにおいて、メタイテレーション1で57.76%、メタイテレーション4で71.56%に到達した。
• IoUと信頼度の可視化結果から、適応後、誤ったラベルの信頼度は顕著に低くなった（c < 0.25）、一方で正しいラベルは高い信頼度を示しており、疑似ラベル品質の向上が裏付けられた。
• アブレーションスタディの結果、トランスフォーマーとエントロピー加重平均の両方を用いた完全な手法が最良の性能を示し、平均、自己アテンション、基本的なトランスフォーマーベースラインを上回った。
• 本手法は、ラベルが豊富な大規模データセット（例：Waymo）からラベルが乏しい小規模データセット（例：KITTI）に適応する際に最も効果的であり、逆に小規模から大規模への適応では効果が薄れる傾向にあった。

Figure 2 : 3D bounding box predictions of the object detector [ 28 ] trained on Waymo [ 31 ] data and tested on KITTI [ 8 ] . Ground truth annotations are in green and predictions are in red. Thresholding (b) fails to remove all false positives present in (a). Self-training with these pseudo-labels