[論文レビュー] ST3D++: Denoised Self-training for Unsupervised Domain Adaptation on 3D Object Detection

Jihan Yang, Shaoshuai Shi+3 more|arXiv (Cornell University)|Aug 15, 2021

Advanced Neural Network Applications被引用数 7

ひとこと要約

ST3D++ は、ランダムオブジェクトスケーリング、ハイブリッド品質認識トライアングルメモリ、カリキュラムデータオーギュメンテーション、ソース支援学習を用いて、3Dオブジェクト検出における自己教師ありドメイン適応のためのノイズ低減自己トレーニングフレームワークを提案する。この手法は、疑似ラベルのノイズを低減し、モデルの一般化性能を向上させる。4つのベンチマークで最先端の性能を達成し、Waymo→KITTIの設定ではAP₃Dでベースラインを最大38.16%上回っている。

ABSTRACT

In this paper, we present a self-training method, named ST3D++, with a holistic pseudo label denoising pipeline for unsupervised domain adaptation on 3D object detection. ST3D++ aims at reducing noise in pseudo label generation as well as alleviating the negative impacts of noisy pseudo labels on model training. First, ST3D++ pre-trains the 3D object detector on the labeled source domain with random object scaling (ROS) which is designed to reduce target domain pseudo label noise arising from object scale bias of the source domain. Then, the detector is progressively improved through alternating between generating pseudo labels and training the object detector with pseudo-labeled target domain data. Here, we equip the pseudo label generation process with a hybrid quality-aware triplet memory to improve the quality and stability of generated pseudo labels. Meanwhile, in the model training stage, we propose a source data assisted training strategy and a curriculum data augmentation policy to effectively rectify noisy gradient directions and avoid model over-fitting to noisy pseudo labeled data. These specific designs enable the detector to be trained on meticulously refined pseudo labeled target data with denoised training signals, and thus effectively facilitate adapting an object detector to a target domain without requiring annotations. Finally, our method is assessed on four 3D benchmark datasets (i.e., Waymo, KITTI, Lyft, and nuScenes) for three common categories (i.e., car, pedestrian and bicycle). ST3D++ achieves state-of-the-art performance on all evaluated settings, outperforming the corresponding baseline by a large margin (e.g., 9.6% $\sim$ 38.16% on Waymo $ ightarrow$ KITTI in terms of AP$_{ ext{3D}}$), and even surpasses the fully supervised oracle results on the KITTI 3D object detection benchmark with target prior. Code will be available.

研究の動機と目的

• センサ、天候、地理的差異による、ソース（例：Waymo）とターゲット（例：KITTI）ドメイン間のドメインシフトの課題に対処する。
• 局所化エラーと誤分類による影響でモデル性能が低下する、自己トレーニングパイプラインにおける疑似ラベルのノイズという深刻な問題を克服する。
• 前処理、疑似ラベル生成、モデル学習の各段階でノイズを低減する包括的かつエンドツーエンドの自己トレーニングフレームワークを開発する。
• アノテーションを必要とせず、未ラベルのターゲットデータ上でロバストで一般化性能の高い3D検出器を実現する一方で、ノイズの多い疑似ラベルへの過学習を緩和する。

提案手法

• ソースドメインでの事前学習中にランダムオブジェクトスケーリング（ROS）を導入し、オブジェクトサイズ分布のバイアスを低減し、スケール関連の疑似ラベルノイズを最小化する。
• ボックススコアリング基準を用いたハイブリッド品質認識トライアングルメモリを採用し、信頼度の低い予測をフィルタリングし、複数視点間の一貫性を強化することで、疑似ラベルの品質を向上させる。
• 段階的強化強度を段階的に増加させるカリキュラムデータオーギュメンテーション（CDA）ポリシーを適用し、訓練の安定性を確保するとともに、容易な疑似ラベル付きサンプルへの過学習を防ぐ。
• ドメイン固有バッチ正規化（DSNorm）を用いたソース支援監視（SASD）を採用し、誤った勾配方向を是正し、疑似ラベル付きターゲットデータでの学習中にドメインシフトの影響を軽減する。
• 一貫性正則化付き疑似ラベル更新戦略を統合し、イテレーション間で安定的かつ正確な疑似ラベルの割り当てを維持する。
• これらの要素を統合した包括的な自己トレーニングパイプラインを構築し、疑似ラベル生成とモデル最適化を交互に繰り返すことで、ノイズ低減かつ信頼性の高い学習信号を確保する。

Figure 1: Performance of ST3D++ on the Waymo $\rightarrow$ KITTI task using SECOND-IoU [ 1 ] for car, pedestrian and cyclist. Our ST3D++ is compared with other unsupervised ( i.e. source only, naive ST), weakly-supervised ( i.e. SN [ 11 ] ) and fully supervised ( i.e. oracle) approaches. Dashed line

実験結果

リサーチクエスチョン

• RQ1 自己適応における3Dオブジェクト検出の自己トレーニングで、疑似ラベルのノイズを効果的に低減する方法は何か？
• RQ2 データオーギュメンテーション（例：ROS）を用いた事前学習は、スケールバイアスをどれほど軽減し、疑似ラベル品質を向上させ得るか？
• RQ3 品質認識スコアリングを備えたハイブリッドトライアングルメモリは、生成された疑似ラベルの一貫性と正確性を向上させ得るか？
• RQ4 カリキュラムデータオーギュメンテーションは、ノイズの多い疑似ラベル付きデータで学習する際、モデルの収束性とロバスト性にどのような影響を与えるか？
• RQ5 ドメイン固有正規化を用いたソース支援学習は、一般化性能を向上させ、ノイズの多い疑似ラベルの悪影響を軽減できるか？

主な発見

• ST3D++ は、車両、歩行者、自転車の検出タスクにおいて、評価された4つのベンチマーク（Waymo、KITTI、Lyft、nuScenes）で、すべてにおいて最先端の性能を達成している。
• 挑戦的な Waymo→KITTI 移行設定において、ST3D++ はベースライン比でAP₃Dを9.6%から38.16%まで向上させ、既存の自己教師あり手法を著しく上回っている。
• ターゲットドメインの事前知識が利用可能な場合、ST3D++ はKITTI 3D検出ベンチマークの完全に教師ありオラクル結果を上回っており、優れた一般化能力を示している。
• アブレーションスタディの結果、ROS、トライアングルメモリ、CDA、SASD の各モジュールが疑似ラベル品質の向上に寄与していることが確認され、モジュールを段階的に追加するごとに#TPs と AP₃D が順次向上した。
• SASDモジュール内のDSNormは、バッチ正規化シフトによる性能低下を低減し、Waymo→KITTIベンチマークで歩行者に対して2.94%、自転車に対して7.27%のAP₃D向上を達成した。
• カリキュラムデータオーギュメンテーションとソース支援学習の組み合わせにより、過学習が軽減され、ロバスト性が向上し、強力なベースラインのオーギュメンテーションと比較してAP₃Dが0.6%向上した。

Figure 2: Examples of two types self-training noise ( red and blue boxes stand for predicted pseudo labels and GTs, respectively). Upper row: ”localization noise” consists of pseudo labels that locate GTs well but suffers from regression errors to their corresponding GTs. Bottom row: “classification