[論文レビュー] Self-training for Few-shot Transfer Across Extreme Task Differences

Cheng Perng Phoo, Bharath Hariharan|arXiv (Cornell University)|Oct 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 57被引用数 17

ひとこと要約

本稿では、ラベルなしのターゲットデータを用いて事前学習されたImageNet表現を極端なターゲットドメイン（例：レントゲン、衛星画像）に適応する自己学習手法STARTUPを提案する。事前学習済みの教師モデルが学習した類似性グループ化行動を学生表現に蒸留することで、BSCD-FSLベンチマークにおいて少サンプル転移性能が平均2.9ポイント向上し、標準的転移学習や自己教師付き学習を上回る性能を発揮する。

ABSTRACT

Most few-shot learning techniques are pre-trained on a large, labeled "base dataset". In problem domains where such large labeled datasets are not available for pre-training (e.g., X-ray, satellite images), one must resort to pre-training in a different "source" problem domain (e.g., ImageNet), which can be very different from the desired target task. Traditional few-shot and transfer learning techniques fail in the presence of such extreme differences between the source and target tasks. In this paper, we present a simple and effective solution to tackle this extreme domain gap: self-training a source domain representation on unlabeled data from the target domain. We show that this improves one-shot performance on the target domain by 2.9 points on average on the challenging BSCD-FSL benchmark consisting of datasets from multiple domains. Our code is available at https://github.com/cpphoo/STARTUP.

研究の動機と目的

• ソースドメイン（例：ImageNet）から極めて異なるターゲットドメイン（例：医療画像や衛星画像）に転移する際、少サンプル学習および転移学習手法が失敗することを解決すること。
• 自己教師付き学習の限界を克服すること。これは、事前学習モデルからの誘導的バイアスが欠如しているため、ラベルなしデータが少ない場合に性能が劣るためである。
• ラベルなしのターゲットデータを活用して事前学習表現を適応させつつ、ソースドメインからの有用な誘導的バイアスを保持する手法を開発すること。
• 特にリソースが限られた状況やドメインギャップが大きい状況において、ドメイン間少サンプル学習で一貫した性能向上を示すこと。

提案手法

• ソースドメインで訓練された事前学習済みImageNet分類器（「教師」）を用い、ラベルなしのターゲットドメインデータに適用して、学習済み類似性グループ化に基づく疑似ラベルを生成する。
• これらの疑似ラベルを用いて、ターゲットドメイン上で教師が誘導したグループ化構造を再現するように、学生ネットワークを訓練する。
• トレーニング中に対照的自己教師付き学習（SimCLR）を学生ネットワークに適用し、特徴の識別能を向上させる一方で、教師のグループ化構造を保持する。
• 学生ネットワークを事前学習済みImageNet重みで初期化して有用な誘導的バイアスを保持し、疑似ラベル付きのターゲットデータと自己教師付き対照損失の両方を用いて微調整する。
• t-SNE可視化を用いて、トレーニング後に学生の表現がより判別可能になることを確認する。
• ラベルなしデータ量、初期化戦略、および代替自己教師付き学習（例：回転）の影響を評価するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインとターゲットドメインが極めて異なる場合、ラベルなしのターゲットデータ上で自己学習を実施することで、少サンプル転移性能が向上するか？
• RQ2 ターゲットドメイン上で事前学習済み分類器が誘導するグループ化は、表現学習に有用な誘導的バイアスを含んでいるか？
• RQ3 学生ネットワークは、ターゲットドメインのデータ分布に適応しつつ、教師のグループ化行動を再現できるか？
• RQ4 極端なドメインギャップ状況において、STARTUPは標準的転移学習、自己教師付き学習、および他の少サンプルベースラインと比較してどのように性能を発揮するか？
• RQ5 ドメインギャップが小さい場合（例：ImageNet内での変動）でも、STARTUPの利点は維持されるか？

主な発見

• BSCD-FSLベンチマーク（衛星画像や医療画像など、極めて異なるドメインを含む）において、STARTUPは少サンプル分類精度を平均2.9ポイント向上させる。
• BSCD-FSLベンチマークにおいて、STARTUPは標準的ImageNet転移学習および最先端の自己教師付き学習手法を常に上回る性能を発揮する。
• より小さなドメインギャップ設定（例：miniImageNetやtieredImageNet）においても、適切な初期化を施したSTARTUPは、特にラベル付きデータが少ない状況で標準的転移学習を上回る。
• t-SNE可視化から、STARTUP後にはクラス間の分離が明確になることが示され、特徴の判別能が向上していることが確認できる。
• アブレーションスタディの結果、ラベルなしデータ量の増加に伴い性能が向上し、SimCLRを用いた自己教師付き学習が回転ベースの自己教師付き学習よりも効果的であることが確認された。
• ラベルなしデータが少ない状況では、教師の重みで初期化した学生の性能が優れているが、ラベルなしデータ量が多い場合には、初期化なしで訓練する方が優れた性能を発揮する。