[論文レビュー] Domain-Irrelevant Representation Learning for Unsupervised Domain Generalization.

Xingxuan Zhang, Linjun Zhou+4 more|arXiv (Cornell University)|Jul 13, 2021

Domain Adaptation and Few-Shot Learning参考文献 66被引用数 4

ひとこと要約

本稿では、ラベルなしデータからドメインに依存しない表現を学習することで、分布シフトに対して一般化性能を向上させる非教師ありドメイン一般化手法であるドメイン無関係非教師あり学習（DIUL）を提案する。DIULは、ラベルデータが乏しい場合や豊富な場合の両方で、ImageNetの事前学習を凌駕する強力なロバスト性と一般化性能を示しており、ラベルなしデータの量がはるかに少ない場合でも優れた性能を発揮する。

ABSTRACT

Domain generalization (DG) aims to help models trained on a set of source domains generalize better on unseen target domains. The performances of current DG methods largely rely on sufficient labeled data, which however are usually costly or unavailable. While unlabeled data are far more accessible, we seek to explore how unsupervised learning can help deep models generalizes across domains. Specifically, we study a novel generalization problem called unsupervised domain generalization, which aims to learn generalizable models with unlabeled data. Furthermore, we propose a Domain-Irrelevant Unsupervised Learning (DIUL) method to cope with the significant and misleading heterogeneity within unlabeled data and severe distribution shifts between source and target data. Surprisingly we observe that DIUL can not only counterbalance the scarcity of labeled data but also further strengthen the generalization ability of models when the labeled data are sufficient. As a pretraining approach, DIUL shows superior to ImageNet pretraining protocol even when the available data are unlabeled and of a greatly smaller amount compared to ImageNet. Extensive experiments clearly demonstrate the effectiveness of our method compared with state-of-the-art unsupervised learning counterparts.

研究の動機と目的

• ラベルデータが利用できない、特にラベルデータが乏しい状況におけるドメイン一般化の課題に対処すること。
• 非教師あり設定において、ソースドメインとターゲットドメインの間で顕著な分布シフトやドメイン固有の不均一性が生じる影響を軽減すること。
• 標準的なImageNet事前学習を凌駕する、ラベルなしデータの規模が著しく小さいにもかかわらず、モデルの一般化性能を向上させる事前学習手法を開発すること。
• 非教師あり表現学習が、ラベルデータが少ない場合だけでなく、ラベルデータが豊富な場合にも一般化性能を強化できるかどうかを検討すること。

提案手法

• DIULは、対照的学習の目的関数を用いてドメイン固有の特徴を最小化することで、ドメインに依存しない表現を学習する。
• ドメイン固有の特徴と一般化可能な特徴を分離するために、共有エンコーダとドメイン固有の予測器を備えた二重ブランチニューラルネットワークを採用する。
• 同じ画像のオーグメンテーション同士を引き寄せる一方で、異なるドメイン間のネガティブサンプルを遠ざけるドメイン不変な対照的損失を用いる。
• 事前学習段階ではラベルに依存せず、ラベルなしデータのみでエンドツーエンドに訓練される。
• 事前学習後は、最小限のラベル付きデータを用いて下流タスクでファインチューニングされ、学習されたドメインに強い特徴が活用される。

実験結果

リサーチクエスチョン

• RQ1 ラベルデータが利用できない状況において、非教師あり表現学習がドメイン一般化性能を効果的に向上させられるか。
• RQ2 DIULは、ラベルなしデータにおけるドメイン固有のノイズや分布シフトの悪影響をどのように軽減するか。
• RQ3 DIULは、ImageNetに比べてはるかに少ないラベルなしデータを用いても、標準的なImageNet事前学習を上回る性能を示せるか。
• RQ4 DIULは、ラベルデータが豊富な場合にも一般化性能を向上させられるか。

主な発見

• DIULは、複数のドメイン一般化ベンチマークで最先端の非教師あり学習手法を上回る優れた一般化性能を達成した。
• DIULは、ImageNetよりもはるかにスケールが小さいラベルなしデータを用いても、ImageNet事前学習を上回った。
• 特にラベルデータが限られている、あるいは存在しない状況において、分布シフトに対して優れたロバスト性を示した。
• 驚くべきことに、ラベルデータが豊富な場合でさえ、DIULはモデルの一般化性能をさらに向上させた。これは、DIULがデータが乏しい状況にとどまらず、広範な文脈で有効であることを示している。