[論文レビュー] Domain Adaptation with Auxiliary Target Domain-Oriented Classifier

Jian Liang, Dapeng Hu+1 more|arXiv (Cornell University)|Jul 8, 2020

Domain Adaptation and Few-Shot Learning参考文献 78被引用数 8

ひとこと要約

本稿では、メモリバンを用いた非パrametric分類器を導入することで分類器バイアスを低減する、教師なしドメイン適応のための新規擬ラベル化フレームワークATDOCを提案する。近傍集約または最近傍重心分類を用いることで、追加のネットワークパラメータを一切使用せずに、VisDA-C や Office-Home といった多様なDAベンチマークで、ドメインアライメントや先行するSSL手法を著しく上回り、最先端の性能を達成する。

ABSTRACT

Domain adaptation (DA) aims to transfer knowledge from a label-rich but heterogeneous domain to a label-scare domain, which alleviates the labeling efforts and attracts considerable attention. Different from previous methods focusing on learning domain-invariant feature representations, some recent methods present generic semi-supervised learning (SSL) techniques and directly apply them to DA tasks, even achieving competitive performance. One of the most popular SSL techniques is pseudo-labeling that assigns pseudo labels for each unlabeled data via the classifier trained by labeled data. However, it ignores the distribution shift in DA problems and is inevitably biased to source data. To address this issue, we propose a new pseudo-labeling framework called Auxiliary Target Domain-Oriented Classifier (ATDOC). ATDOC alleviates the classifier bias by introducing an auxiliary classifier for target data only, to improve the quality of pseudo labels. Specifically, we employ the memory mechanism and develop two types of non-parametric classifiers, i.e. the nearest centroid classifier and neighborhood aggregation, without introducing any additional network parameters. Despite its simplicity in a pseudo classification objective, ATDOC with neighborhood aggregation significantly outperforms domain alignment techniques and prior SSL techniques on a large variety of DA benchmarks and even scare-labeled SSL tasks.

研究の動機と目的

• ドメイン適応のための擬ラベル化手法における分類器バイアスを是正すること。これは、ソースドメインデータに過剰適合するためのものである。
• ターゲットデータ専用のドメイン特化分類器を学習することで、教師なしドメイン適応における擬ラベルの品質を向上させること。
• 複雑なネットワークアーキテクチャを避ける一方で、高い性能を維持する軽量でパラメータフリーの手法を開発すること。
• 標準的なドメイン適応と限られたラベル付きデータを有する半教師あり学習ベンチマークの両方における、提案手法の有効性を評価すること。
• 温度スケーリング、近傍サイズ、正則化重みといったハイパーパramータのモデル性能に与える影響を調査すること。

提案手法

• 主なソース学習ネットワークとは独立して動作する、補助的なターゲットドメイン指向分類器（ATDOC）を導入し、ターゲットデータの未ラベルサンプルに対してのみ処理を行う。
• 効率的な推論のため、未ラベルターゲットサンプルの特徴表現とソフト予測を格納するメモリバンを採用する。
• 追加のネットワークパラメータを必要としない2つの非パラメトリック分類器（最近傍重心分類（NC）と近傍集約（NA））を用いる。
• NCでは、メモリバン内のクラス重心を指数的移動平均で動的に更新する。
• NAでは、メモリバン内の近隣サンプルの特徴と予測を集約し、信頼度重み付きの擬ラベルを生成する。
• 学習可能な正則化重みλを用いて、ターゲット指向の擬ラベルを訓練に統合し、初期学習段階の安定化のため線形ラムアップスケジュールを適用する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックでターゲット特化分類器は、ドメイン適応のための擬ラベル化におけるバイアスを低減できるか？
• RQ2 メモリベースの特徴集約を用いた近傍集約は、ドメインアライメントや標準的な擬ラベル化と比較して、性能とロバスト性において優れているか？
• RQ3 近傍サイズm、温度T、正則化重みλといったハイパーパラメータが、モデルの収束性と精度に与える影響は何か？
• RQ4 メモリバンにソース特徴を組み込むと性能が劣化するのか、その理由は何か？
• RQ5 ATDOCは、ラベル付きデータが極めて限られた限られたラベル付き半教師あり学習タスクにも一般化可能か？

主な発見

• ATDOC-NAはVisDA-Cでトップ1正解率89.7%を達成し、ドメインアライメントやMixMatchを含む先行SOTA手法を上回った。
• Office-HomeではATDOC-NAが80.3%の正解率を達成し、ベースラインの擬ラベル化手法やMixMatchを著しく上回った。特に低ショット設定での向上が顕著であった。
• ATDOC-NAにおける信頼度重み（q̂i,ŷi）の削除は、VisDA-Cで正解率を89.4%に低下させ、擬ラベル化におけるインスタンスレベルの信頼度の重要性を示した。
• 温度T=1を用いると、VisDA-Cで性能が85.8%に低下し、予測のなめらかさを高めるための温度スケーリングの有効性を裏付けた。
• メモリバンにソース特徴を組み込むと性能が低下（Office-31で87.4%）し、ターゲットのみの学習の必要性を検証した。
• DomainNet-126では、ATDOC-NAがMCCを上回り、豊富な未ラベルデータを有する半教師あり学習においても強力な一般化性能を示した。