[論文レビュー] Uncertainty-aware Mean Teacher for Source-free Unsupervised Domain Adaptive 3D Object Detection

Deepti Hegde, Vishwanath A. Sindagi+4 more|arXiv (Cornell University)|Sep 29, 2021

Advanced Neural Network Applications参考文献 32被引用数 19

ひとこと要約

本論文は、3次元物体検出におけるソースフリー非教師ありドメイン適応において、不確実性を考慮したMean Teacherフレームワークを提案する。モンテカルロドロップアウトを用いてモデルの不確実性を推定し、学習中に信頼性の低い疑似ラベルからの損失を低減する。本手法は、KITTI、Waymo、nuScenesデータセットにおいて、クロスデータセットおよびクロス天候条件のドメインシフトにおいて最先端の性能を達成し、ST3D や半教師ありベースラインと比較して優れた性能を示す。

ABSTRACT

Pseudo-label based self training approaches are a popular method for source-free unsupervised domain adaptation. However, their efficacy depends on the quality of the labels generated by the source trained model. These labels may be incorrect with high confidence, rendering thresholding methods ineffective. In order to avoid reinforcing errors caused by label noise, we propose an uncertainty-aware mean teacher framework which implicitly filters incorrect pseudo-labels during training. Leveraging model uncertainty allows the mean teacher network to perform implicit filtering by down-weighing losses corresponding uncertain pseudo-labels. Effectively, we perform automatic soft-sampling of pseudo-labeled data while aligning predictions from the student and teacher networks. We demonstrate our method on several domain adaptation scenarios, from cross-dataset to cross-weather conditions, and achieve state-of-the-art performance in these cases, on the KITTI lidar target dataset.

研究の動機と目的

• ソースドメインとターゲットドメインの間でライダーのセンサータイプ、環境、天候条件の違いに起因する3次元物体検出におけるドメインシフトを解消すること。
• ソースフリー非教師ありドメイン適応における疑似ラベルベースの自己学習の限界を克服すること。具体的には、高信頼度の誤ったラベルがモデル性能を低下させる問題を解消すること。
• ソースドメインのデータやラベルにアクセスできない状況下でも検出精度を向上させる手法を開発すること。これにより、プライバシーが重視される、またはデータ制限がある実用的応用に適した展開が可能になる。
• モデルの不確実性を活用して、信頼性の低い疑似ラベルを学習中に暗黙的にフィルタリングすること。信頼度の閾値に依存するのではなく、不確実性に基づいたアプローチを採用する。

提案手法

• 教師ネットワークと生徒ネットワークを備えたMean Teacherフレームワークを採用。両ネットワークは、事前学習済みのソースモデル（例：SECOND-IoU）から初期化され、教師の重みは指数的移動平均により徐々に更新される。
• 生徒ネットワークを用いてターゲットドメインの疑似ラベルを繰り返し生成し、複数の学習段階を経てラベル品質を向上させる。
• モンテカルロドロップアウトを用いてモデルの不確実性を推定。教師ネットワークに対してT回の順伝播を実行し、各予測の分散を計算することで不確実性を定量化する。
• 不確実性を考慮した損失重み付けを実装。不確実性が高い（分散が高い）サンプルは学習時に重みを低減し、ノイズが多いまたは誤った疑似ラベルの影響を軽減する。
• 不確実性に基づくソフトサンプリングを導入。不確実性に応じて損失の寄与度を動的に調整することで、低品質な疑似ラベル例を暗黙的にフィルタリングする。
• 生徒ネットワークを、ソースからの真のラベルとターゲットの疑似ラベルの両方を用いて学習。教師ネットワークからの不確実性を考慮した監視のもとで学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 モンテカルロドロップアウトによる不確実性推定は、ソースフリーのドメイン適応における疑似ラベルベースの自己学習のロバスト性を向上させることができるか？
• RQ2 信頼度閾値に基づくフィルタリングと比較して、不確実性を考慮した損失重み付けは、高信頼度のノイズのある疑似ラベルの影響をどの程度軽減できるか？
• RQ3 繰り返し疑似ラベルの生成による改善は、クロスデータセットおよび悪天候条件のドメインシフトにおいて、どの程度検出性能を向上させるか？
• RQ4 提案手法は、KITTI、Waymo、nuScenesといったベンチマーク3次元検出データセットにおいて、既存のソースフリーおよび半教師ありドメイン適応手法を上回る性能を示すか？

主な発見

• 提案手法は、Waymo → KITTI、Waymo → nuScenes、およびクロス天候条件を含む、すべての評価ドメインシフトシナリオで、最先端の平均平均精度（mAP）を達成した。
• KITTIデータセットでは、ST3Dおよび半教師ありの統計的正規化ベースラインを上回り、全難易度カテゴリで高いmAPを達成した。
• 不確実性を考慮したMean Teacherフレームワークは、不確実性を考慮しないバージョンに比べて顕著な性能向上を示し、特に高信頼度の誤った疑似ラベルに起因する誤検出（偽陽性）の削減に効果的であった。
• 繰り返し疑似ラベル生成により、検出mAPが向上するが、最適な反復回数（J ≈ 3回）に達すると、その後は性能が頭打ちまたは低下する傾向を示し、最適な精錬段階が存在することが示された。
• モデルの不確実性分析から、トレーニング終了時点で教師ネットワークが誤った疑似ラベルに対して高い分散を割り当てていることが確認され、最適化プロセスでの効果的な重み付けが可能であることが裏付けられた。
• 定性的な結果から、本手法はソースオンリーモデルおよびST3Dに比べ、より正確で局所化された検出を生成しており、特に高信頼度の偽陽性を顕著に低減していることが確認された。