[論文レビュー] Unsupervised Domain Adaptation by Uncertain Feature Alignment

Tobias Ringwald, Rainer Stiefelhagen|arXiv (Cornell University)|Sep 14, 2020

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 4

ひとこと要約

本稿では、予測不確実性を推定するためのモンテカルロドロップアウトを活用し、曖昧なターゲットサンプルのフィルタリングとユークリッド空間内での特徴のアライメントを実現する、未知のドメイン適応手法である不確実性ベースのフィルタリングと特徴アライメント（UFAL）を提案する。本手法は、不確実性を考慮した損失関数とスマートバッチレイアウトを組み合わせることで、マルチGPU訓練におけるバッチ正規化の問題を緩和し、Office-Home、Office-Caltech、VisDA-2017ベンチマークで最先端の性能を達成する。

ABSTRACT

Unsupervised domain adaptation (UDA) deals with the adaptation of models from a given source domain with labeled data to an unlabeled target domain. In this paper, we utilize the inherent prediction uncertainty of a model to accomplish the domain adaptation task. The uncertainty is measured by Monte-Carlo dropout and used for our proposed Uncertainty-based Filtering and Feature Alignment (UFAL) that combines an Uncertain Feature Loss (UFL) function and an Uncertainty-Based Filtering (UBF) approach for alignment of features in Euclidean space. Our method surpasses recently proposed architectures and achieves state-of-the-art results on multiple challenging datasets. Code is available on the project website.

研究の動機と目的

• ラベル付きのソースデータとラベルなしのターゲットデータが異なる分布に由来するドメインシフトの問題に対処すること。
• モデルの不確実性を活用して特徴のアライメントとサンプルのフィルタリングをガイドすることで、ターゲットドメインにおけるモデルの汎化性能を向上させること。
• ドメイン適応の設定においてバッチ正規化が原因で生じる訓練の不安定性を解消すること。
• ラベルなしのターゲットデータを必要とせず、最先端の性能を達成する手法を開発すること。

提案手法

• 本手法は、予測不確実性を推定するためにモンテカルロドロップアウトを用い、不確実性の定量化のためのベイジアン推論の近似を実現する。
• 予測不確実性に基づいて特徴間の距離を調整する不確実性特徴損失（UFL）を導入し、高信頼度領域でのアライメントを促進する。
• 訓練中に不確実性が大きいターゲットサンプルを削除する不確実性ベースのフィルタリング（UBF）機構を導入し、モデルのロバストネスを向上させる。
• ドメインシフトを低減するために、UFLを用いたUADAに準拠したゴーストバッチ正規化を拡張するスマートバッチレイアウト（SBL）を採用する。
• ソースとターゲットの特徴間の不確実性を考慮した距離を最小化することで、ユークリッド空間内に特徴をアライメントする。
• 本フレームワークは、ソースデータに対してクロスエントロピー損失、ターゲットデータに対してUFL + UBFを用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 予測不確実性は、未知のドメイン適応における特徴のアライメントとサンプルのフィルタリングを改善するために効果的に活用可能か？
• RQ2 不確実性ベースのフィルタリングは、ドメインシフトが顕著なターゲットドメインにおけるモデルの汎化性能にどのように影響を与えるか？
• RQ3 ゴーストバッチ正規化は、UADAに適応可能で、複数GPU環境における訓練の安定性を向上させられるか？
• RQ4 不確実性を考慮した特徴アライメントは、MMDや敵対的訓練といった標準的手法よりも優れた性能を発揮するか？
• RQ5 異なるデータセットにおいて、不確実性フィルタリング率と最終的なモデル精度の関係は何か？

主な発見

• UFALは、Office-Caltechデータセットで97.3%の最先端の精度を達成し、CDAN+E や RWA といった先行手法を上回った。
• Office-Homeデータセットでは、UFALが平均97.3%の精度を達成し、CADA-P や TADA といった先行SOTA手法を上回った。
• VisDA-2017ベンチマークでは、UFALが96.8%の精度を達成し、大規模かつ細分化された分類タスクにおける強力な汎化性能を示した。
• フィルタリング対象のターゲットサンプルの割合は、訓練の進行に従い約60%からほぼ0%に減少し、より複雑な転送タスク（例：65クラスのPr-Cl）では高いフィルタリング率が観察された。
• t-SNE可視化の結果、UFALはソースのみの訓練とは異なり、適応後、ターゲット特徴が明確に分離され、意味的に意味のあるクラスタに分かれるのを成功裏に実現した。
• スマートバッチレイアウト（SBL）は、ドメイン適応におけるバッチ正規化の失敗を是正することで、マルチGPU環境下での訓練の安定性と性能を顕著に向上させた。