[論文レビュー] Understanding Cross-Domain Few-Shot Learning Based on Domain Similarity and Few-Shot Difficulty

Jaehoon Oh, Sungnyun Kim+4 more|arXiv (Cornell University)|Feb 1, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿は、ドメイン類似度と少サンプル難易度を分析することで、クロスドメイン少サンプル学習（CD-FSL）における事前学習戦略を調査し、ドメインが類似していないか、ターゲットタスクが容易な場合には自己教師付き学習（SSL）が教師あり学習（SL）を上回ることを明らかにした。一方、ドメインが類似しておりタスクが困難な場合にはSLが優勢である。著者らは、これらの2つの指標に基づきSLとSSLの相乗効果を活用するための混合教師付き学習（MSL）と2段階事前学習を提案し、11のベンチマークデータセットを用いた検証で性能向上を確認した。

ABSTRACT

Cross-domain few-shot learning (CD-FSL) has drawn increasing attention for handling large differences between the source and target domains--an important concern in real-world scenarios. To overcome these large differences, recent works have considered exploiting small-scale unlabeled data from the target domain during the pre-training stage. This data enables self-supervised pre-training on the target domain, in addition to supervised pre-training on the source domain. In this paper, we empirically investigate which pre-training is preferred based on domain similarity and few-shot difficulty of the target domain. We discover that the performance gain of self-supervised pre-training over supervised pre-training becomes large when the target domain is dissimilar to the source domain, or the target domain itself has low few-shot difficulty. We further design two pre-training schemes, mixed-supervised and two-stage learning, that improve performance. In this light, we present six findings for CD-FSL, which are supported by extensive experiments and analyses on three source and eight target benchmark datasets with varying levels of domain similarity and few-shot difficulty. Our code is available at https://github.com/sungnyun/understanding-cdfsl.

研究の動機と目的

• 自己教師付き学習（SSL）がクロスドメイン少サンプル学習（CD-FSL）においていつ教師あり学習（SL）を上回るかを理解すること。
• SLおよびSSLの事前学習戦略の有効性を決定づける主要因—ドメイン類似度と少サンプル難易度—を同定すること。
• これらの要因に基づきSLとSSLを統合する改善された事前学習スキームを設計し、CD-FSLの性能を向上させること。
• 提案された知見および手法が、ドメイン類似度および少サンプル難易度の異なる多様なベンチマークデータセットにおいて検証されること。

提案手法

• 著者らは、ドメイン類似度（ソースドメインとターゲットドメイン間の特徴分布シフトを測定）と少サンプル難易度（FSL性能の上限推定値で、タスクの本質的難易度を示す）の2つの主要指標を導入した。
• ドメイン類似度と少サンプル難易度が異なる11のデータセットを用い、標準的な事前学習戦略（ソースドメインでのSL、ターゲットドメインでのSSL）を評価した。
• SLとSSLの信号を統合して、両者の相補的強みを活かす混合教師付き学習（MSL）を提案した。
• 最初にSLで事前学習し、その後SSLで微調整する2段階事前学習法を設計し、強い初期重みの恩恵を得た。
• バックボーンとしてResNet-18を用い、miniImageNet、tieredImageNet、EuroSAT、CUBなど、標準的な少サンプルベンチマークで評価した。
• 広範なアブレーションスタディおよびt-SNE可視化を通じて、SLとSSLが学習する表現のクラスタリング特性を検証した。

実験結果

リサーチクエスチョン

• RQ1 クロスドメイン少サンプル学習（CD-FSL）において、ターゲットドメインで自己教師付き学習（SSL）を実行する方が、ソースドメインで教師あり学習（SL）を実行するよりも優れる条件は何か？
• RQ2 ソースドメインとターゲットドメイン間のドメイン類似度は、SLおよびSSLの事前学習の有効性にどのように影響するか？
• RQ3 ターゲットデータセットの本質的少サンプル難易度は、SLとSSLの相対的性能にどのように影響するか？
• RQ4 SLとSSLを効果的に組み合わせることでCD-FSLの性能を向上させられるか。もし可能であれば、どのような条件下で可能か？
• RQ5 2段階事前学習パイプライン（SLの後にSSL）は、単一段階の事前学習よりも優れた性能を示すか？

主な発見

• ターゲットドメインがソースドメインと類似していない場合、特にターゲットデータセットの少サンプル難易度が低い場合、自己教師付き学習（SSL）の事前学習が教師あり学習（SL）を顕著に上回る。
• ソースドメインとターゲットドメインが類似しており、少サンプルタスクが困難な場合、教師あり学習（SL）がSSLよりも効果的であり、SLが強いインダクティブバイアスを提供するためである。
• SLとSSLの目的関数を同時に最適化する混合教師付き学習（MSL）は、両手法の性能が同等に近い場合に性能向上を示し、相乗効果を裏付ける。
• 2段階事前学習スキーム（最初にSLで事前学習し、その後SSLで微調整）は、SLの強い初期化を活かすことで、一貫して性能を向上させる。
• 同じドメインのFSL（例：miniImageNet → miniImageNet-test）では、SLおよびMSLがSSLを上回り、MSLは最高の正確率（5ショットで87.38％）を達成した。これはドメイン類似度と難易度の役割を確認するものである。
• t-SNE可視化により、SSLは類似していないか、容易なデータセット（例：EuroSAT）でより分離された特徴を生成する一方、SLは類似しているか、困難なデータセット（例：CUB）でより良いクラスタリングを実現することが確認された。