[論文レビュー] ST3D: Self-training for Unsupervised Domain Adaptation on 3D Object Detection

Jihan Yang, Shaoshuai Shi+3 more|arXiv (Cornell University)|Mar 9, 2021

Advanced Neural Network Applications参考文献 56被引用数 9

ひとこと要約

ST3D は、3D 動的検出における自己学習フレームワークを提案し、ランダムオブジェクトスケーリングによりソースドメインのバイアスを軽減し、品質に配慮した三重項メモリバンクを用いて高品質な偽ラベルを生成し、カリキュラムデータ拡張により過学習を防いでいる。Waymo→KITTI ベンチマークにおいて、完全に教師ありの結果を上回る最先端の性能を達成している。

ABSTRACT

We present a new domain adaptive self-training pipeline, named ST3D, for unsupervised domain adaptation on 3D object detection from point clouds. First, we pre-train the 3D detector on the source domain with our proposed random object scaling strategy for mitigating the negative effects of source domain bias. Then, the detector is iteratively improved on the target domain by alternatively conducting two steps, which are the pseudo label updating with the developed quality-aware triplet memory bank and the model training with curriculum data augmentation. These specific designs for 3D object detection enable the detector to be trained with consistent and high-quality pseudo labels and to avoid overfitting to the large number of easy examples in pseudo labeled data. Our ST3D achieves state-of-the-art performance on all evaluated datasets and even surpasses fully supervised results on KITTI 3D object detection benchmark. Code will be available at https://github.com/CVMI-Lab/ST3D.

研究の動機と目的

• ソースドメインとターゲットドメインの間のセンサー、天候、地理的要因の違いによって生じるドメインシフトを、3D 動的検出において解消すること。
• ノイズの多い偽ラベルと容易なサンプルへの過学習のため、3D 検出における単純な自己学習が失敗することを克服すること。
• ターゲットドメインのアノテーションを一切必要とせず、モデルの一般化性能を向上させる強固な自己学習パイプラインを設計すること。
• 事前学習中にデータ拡張を用いて、ソースドメインにおけるオブジェクトサイズの分布に起因するバイアスを低減すること。
• アンサンブルと投票メカニズムを用いたメモリバンクを活用し、偽ラベルの品質を安定化・向上させること。

提案手法

• 事前学習段階でオブジェクトサイズバイアスを軽減するため、ランダムオブジェクトスケーリング（ROS）をデータ拡張戦略として導入する。
• IoUに基づくスコアリング、三重項ボックス分割、およびメモリアンサンブルと投票を組み合わせた品質に配慮した三重項メモリバンク（QTMB）を提案し、信頼性の高い偽ラベルを生成する。
• 段階的に拡張強度を増やすカリキュラムデータ拡張（CDA）戦略を採用し、過学習を回避するとともに、モデルの耐性を向上させる。
• 複数のフォワードパスにわたって偽ラベルを格納・集約するメモリバンクを用い、ラベルの一貫性を向上させ、ノイズを低減する。
• 正例と負例のIoU閾値を設定することで、曖昧な例を除外する三重項ボックス分割を導入し、ラベルの信頼性を向上させる。
• メモリアンサンブルにおいて、NMS、二部マッチング、最大スコアマージングを組み合わせて偽ラベル予測を精緻化し、一貫性のない予測による誤りを低減する。

実験結果

リサーチクエスチョン

• RQ1 教師なしドメイン適応の下で、ターゲットドメインのアノテーションが存在しない状況において、自己学習が3D 動的検出に効果的に適応可能か。
• RQ2 自己学習中に誤りの蓄積を避けるために、3D 検出における偽ラベル品質をどのように向上できるか。
• RQ3 データ拡張は、偽ラベルデータにおける容易なサンプルへの過学習を防ぐために果たす役割は何か。
• RQ4 事前学習段階で、オブジェクトサイズの分布の違いに起因するドメインシフトをどのように軽減できるか。
• RQ5 メモリベースのアンサンブルと投票メカニズムは、偽ラベル生成の安定化とモデル一般化性能の向上に寄与するか。

主な発見

• ST3D は、Kitti、Waymo、nuScenes、Lyft のすべての評価データセットで最先端の性能を達成した。
• Waymo→KITTI ベンチマークにおいて、ST3D は完全に教師ありのオラクル結果を上回り、BEV AP 85.83%、3D AP 73.37% を達成した。
• さまざまなドメイン適応設定において、ソースオンリーモデルと完全に教師ありモデルの性能差を 16% から 75% まで縮小した。
• アブレーションスタディの結果、メモリ投票を削除すると 3D AP が 2.4% 以上低下し、低品質な偽ラベルのフィルタリングにおけるその重要性が示された。
• カリキュラムデータ拡張戦略は、通常の強度と比較して 0.9% の性能向上をもたらしたが、より強い拡張は精度を低下させた。
• 三重項ボックス分割機構は不可欠である：この機構を削除すると、IoU閾値に応じて 3.3% から 5.4% の性能低下が生じた。