[論文レビュー] Cross-domain Self-supervised Learning for Domain Adaptation with Few Source Labels

Donghyun Kim, Kuniaki Saito+4 more|arXiv (Cornell University)|Mar 18, 2020

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 33

ひとこと要約

本論文は CDS を導入する。クロスドメイン自己監視事前学習アプローチは識別性とドメイン不変性を備えた特徴を生み出し、少数のラベル付きソース例と未ラベル付きターゲットデータのみで効果的なドメイン適応を実現する。

ABSTRACT

Existing unsupervised domain adaptation methods aim to transfer knowledge from a label-rich source domain to an unlabeled target domain. However, obtaining labels for some source domains may be very expensive, making complete labeling as used in prior work impractical. In this work, we investigate a new domain adaptation scenario with sparsely labeled source data, where only a few examples in the source domain have been labeled, while the target domain is unlabeled. We show that when labeled source examples are limited, existing methods often fail to learn discriminative features applicable for both source and target domains. We propose a novel Cross-Domain Self-supervised (CDS) learning approach for domain adaptation, which learns features that are not only domain-invariant but also class-discriminative. Our self-supervised learning method captures apparent visual similarity with in-domain self-supervision in a domain adaptive manner and performs cross-domain feature matching with across-domain self-supervision. In extensive experiments with three standard benchmark datasets, our method significantly boosts performance of target accuracy in the new target domain with few source labels and is even helpful on classical domain adaptation scenarios.

研究の動機と目的

• ドメインシフトがある状況でソースラベルが乏しいときの学習を動機づけ、従来の教師なしドメイン適応が現実的でない状況に対処する。
• ラベルなしでドメイン不変かつクラス識別的な特徴を生み出す自己監視型事前学習フレームワークを開発する。
• 少数のラベル付きソースサンプルと未ラベル付きターゲットデータを用いて効果的な下流のドメイン適応を実現する。
• CDS の事前学習表現が標準ベンチマークでターゲットドメインの精度を向上させることを示す。

提案手法

• 二つの補完的な損失を用いたクロスドメイン自己監視学習（CDS）を提案する：インドメインのインスタンス識別と跨ドメインのマッチング。
• ソースドメインとターゲットドメインからのインドメイン特徴のメモリバンクを用いて、インドメイン類似度分布を計算し、各ドメイン内でインスタンス識別を実施する。
• クロスドメインのメモリベースのマッチングを導入し、クロスドメインの類似度を計算してエントロピーを最小化することで正のマッチを促進し、未マッチなサンプルを反発させる。
• 二つの損失を L_CDS = L_W-INS + L_CDM に統合し、モメンタムベースの更新でメモリバンクを更新する。

実験結果

リサーチクエスチョン

• RQ1 ソースラベルが少ない状況でも、跨ドメイン監督を用いた自己監視事前学習は識別性とドメイン不変性の両方を持つ特徴を生み出せるか。
• RQ2 CDS 事前学習は ImageNet 事前学習モデルと比較して、複数のベンチマークとラベル不足設定で下流のドメイン適応性能を改善するか。
• RQ3 インドメイン自己監督と跨ドメイン自己監督は、ドメイン整列とソースからターゲットへの知識移転にどの程度寄与するか。
• RQ4 CDS は従来のドメイン適応設定および提案された少数ソースラベルシナリオの両方で効果的か。

主な発見

• CDS は Office、Office-Home、VisDA の複数のベースライン（ImageNet 事前学習を含む）に対して、1-shot、3-shot、極端に sparse なラベリング設定でターゲット精度を大幅に改善する。
• CDS の利得はラベル付きソース例の数が減少するほど大きくなり、ラボ supervis 乏しい状況に対する頑健性を示す。
• CDS 事前学習表現は、ドメイン適応タスクにおいて純粋な半教師あり学習や敵対的訓練ベースよりも下流の性能を高める。
• 従来の自己監視ベースと比較して、CDS はドメイン適応ターゲット精度を著しく高く達成し、跨ドメイン整列の利点を示す。
• CDS の上に半教師あり学習を適用すると、ソースの識別性を犠牲にせずターゲットの精度をさらに向上させることができる。