[論文レビュー] Prototypical Cross-domain Self-supervised Learning for Few-shot Unsupervised Domain Adaptation

Xiangyu Yue, Zangwei Zheng+5 more|arXiv (Cornell University)|Mar 31, 2021

Domain Adaptation and Few-Shot Learning参考文献 74被引用数 15

ひとこと要約

本稿では、ドメイン内プロトタイプ対照学習とドメイン間インスタンス-プロトタイプマッチングを用いて、識別的でドメイン不変な特徴を同時に学習する、少サンプルの教師ありドメイン適応のためのエンドツーエンドフレームワークであるプロトタイプ的クロスドメイン自己教師型学習（PCS）を提案する。PCSは、少サンプルのラベル付きソース設定下で、Office、Office-Home、VisDA-2017、DomainNetの各ベンチマークにおいて、平均精度をそれぞれ10.5%、3.5%、9.0%、13.2%向上させ、最先端性能を達成した。

ABSTRACT

Unsupervised Domain Adaptation (UDA) transfers predictive models from a fully-labeled source domain to an unlabeled target domain. In some applications, however, it is expensive even to collect labels in the source domain, making most previous works impractical. To cope with this problem, recent work performed instance-wise cross-domain self-supervised learning, followed by an additional fine-tuning stage. However, the instance-wise self-supervised learning only learns and aligns low-level discriminative features. In this paper, we propose an end-to-end Prototypical Cross-domain Self-Supervised Learning (PCS) framework for Few-shot Unsupervised Domain Adaptation (FUDA). PCS not only performs cross-domain low-level feature alignment, but it also encodes and aligns semantic structures in the shared embedding space across domains. Our framework captures category-wise semantic structures of the data by in-domain prototypical contrastive learning; and performs feature alignment through cross-domain prototypical self-supervision. Compared with state-of-the-art methods, PCS improves the mean classification accuracy over different domain pairs on FUDA by 10.5%, 3.5%, 9.0%, and 13.2% on Office, Office-Home, VisDA-2017, and DomainNet, respectively. Our project page is at http://xyue.io/pcs-fuda/index.html

研究の動機と目的

• 医療画像のような実世界の応用において、高コストなラベル付けのため、ソースドメインに利用可能なラベル付きサンプルが非常に少ない状況における、教師なしドメイン適応の課題に対処すること。
• 従来のインスタンス単位のクロスドメイン自己教師型学習の限界を克服し、意味的構造を正しく表現できず、異常サンプルに敏感である問題を解決すること。
• 2段階のトレーニングパイプラインに依存せずに、同時に識別的特徴を学習し、ドメインを統一的にアライメントするエンドツーエンドのフレームワークを構築すること。
• インスタンス-インスタンスマッチングをインスタンス-プロトタイプマッチングに置き換えることで、ドメインアライメントのロバスト性と収束性を向上させること。
• プロトタイプベースの自己教師型学習と適応的分類器更新を活用することで、リソースが限られたラベル設定下でも優れた性能を達成すること。

提案手法

• 意味的に類似したサンプルをプロトタイプにグループ化することで、意味的構造を符号化するドメイン内プロトタイプ対照学習を実施し、特徴の識別性を向上させる。
• ソースドメインからターゲットドメインへ知識を転送するために、ドメイン間インスタンス-プロトタイプマッチングを実装し、異常サンプルに対してロバストで最適化の安定性が向上する。
• コサイン分類器とプロトタイプ学習を統合し、ソースおよびターゲットドメインの両方のプロトタイプを用いて分類器を適応的に更新することで、ターゲットドメインにおける一般化性能を向上させる。
• 予測の多様性を高め、過学習を低減するために、エントロピー最大化を適用する。特にラベルが少ない状況で有効である。
• すべてのモジュールを1段階のトレーニングフレームワークに統合し、事前学習とファインチューニングの別段階を不要にする。
• 学習率0.01、バッチサイズ64で、ResNet-18バックボーンを用い、アブレーションスタディによるハイパーパrameterチューニングを実施した。

実験結果

リサーチクエスチョン

• RQ1 標準的なインスタンス単位の自己教師型学習が意味的構造を符号化できない少サンプルのソース設定下で、プロトタイプ的自己教師型学習は特徴の識別性を向上させることができるか？
• RQ2 インスタンス-インスタンスマッチングをインスタンス-プロトタイプマッチングに置き換えることで、ドメインシフト下でもよりロバストで安定したドメインアライメントが達成できるか？
• RQ3 プロトタイプ学習と適応的分類器更新を統合した統一的でエンドツーエンドのフレームワークは、2段階パイプラインを上回る性能を発揮できるか？
• RQ4 ラベル付きソースサンプルの数が減少するに従い、提案手法の性能はどのように変化するか？
• RQ5 エントロピー最大化は、ラベルが少ない適応状況下で一般化性能を向上させ、過学習を防止するのにどの程度寄与するか？

主な発見

• Officeベンチマークにおいて、少サンプルの教師なしドメイン適応設定下で、最先端手法を10.5%の絶対的向上率で上回った。
• Office-Homeでは、前回最良手法比で3.5%の精度向上を達成し、多様なドメインシフト状況下でも一貫した向上を示した。
• VisDA-2017では9.0%の精度向上を達成し、大規模で細分化されたドメイン適応タスクにおける有効性を示した。
• DomainNetでは13.2%の向上を達成し、複数ドメインおよび複雑な視覚的変動に強い一般化性能を示した。
• 52のドメイン適応設定のうち47で、前回最良手法を上回り、異なるデータセットおよびドメインペアにおけるロバスト性を確認した。
• 1クラスあたり1サンプル（31ラベル付き画像）の設定下で、DSLR→Amazon設定で76.1%の精度を達成し、ラベル数を94%削減しても性能低下はたった1.3%にとどまり、極めて優れたサンプル効率を示した。