[論文レビュー] Unsupervised Finetuning

Suichan Li, Dongdong Chen+6 more|arXiv (Cornell University)|Oct 18, 2021

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、小規模なラベルなしターゲットデータに事前学習された表現を適応させるために、非教師あり微調整を提案し、2つの戦略——スパースなソースデータの再利用とデータ混合——を導入して表現学習の安定性を向上させている。実験の結果、複数のデータセットおよび転移タスクにおいて、単純な非教師あり微調整に比べて顕著な性能向上が得られた。

ABSTRACT

This paper studies "unsupervised finetuning", the symmetrical problem of the well-known "supervised finetuning". Given a pretrained model and small-scale unlabeled target data, unsupervised finetuning is to adapt the representation pretrained from the source domain to the target domain so that better transfer performance can be obtained. This problem is more challenging than the supervised counterpart, as the low data density in the small-scale target data is not friendly for unsupervised learning, leading to the damage of the pretrained representation and poor representation in the target domain. In this paper, we find the source data is crucial when shifting the finetuning paradigm from supervise to unsupervise, and propose two simple and effective strategies to combine source and target data into unsupervised finetuning: "sparse source data replaying", and "data mixing". The motivation of the former strategy is to add a small portion of source data back to occupy their pretrained representation space and help push the target data to reside in a smaller compact space; and the motivation of the latter strategy is to increase the data density and help learn more compact representation. To demonstrate the effectiveness of our proposed ``unsupervised finetuning'' strategy, we conduct extensive experiments on multiple different target datasets, which show better transfer performance than the naive strategy.

研究の動機と目的

• 標準的な非教師あり学習がデータ密度が低いことにより失敗する小規模なラベルなしターゲットデータセットへの事前学習モデルの適応という課題に対処すること。
• ラベルなしのターゲットデータに対して、事前学習された表現からの単純な非教師あり微調整が、スパースなデータにおける不安定な対照的学習のため性能が低下することを特定すること。
• 表現の凝縮性とデータ密度を向上させるために、スパースなソースデータの再利用とデータ混合の2つの有効な戦略を提案すること。
• 非教師あり微調整によるより良い初期化が、半教師あり学習を含む下流タスクの転移性能を向上させることを示すこと。
• 低データ環境における対照的損失の限界を体系的に分析し、表現の安定性に基づいた解決策を提案すること。

提案手法

• 微調整中の対照的学習プロセスに、ソースドメインデータの小さな一部（例：10％）を組み込むことで「スパースなソースデータの再利用」を導入し、事前学習済みの表現空間を保持すること。
• 2つのランダムな画像を混合し、混合比に応じた重みを用いて合成された陽性サンプルを生成することで「データ混合」を実装し、データ密度を向上させるとともに、凝縮された表現を促進すること。
• 両方の戦略を非教師あり微調整中に組み合わせて適用：混合サンプルと再利用されたソースデータを用いて、ターゲットデータと選択されたソースデータの組み合わせデータセットでモデルを学習すること。
• 小規模なターゲットデータセットでの学習中に表現の安定性を維持するため、MoCoスタイルのキューとモーメンタムエンコーダを用いた対照的学習を適用すること。
• 標準的な対照的学習と同じ損失目的関数を用いながら、拡張されたデータと再利用されたソースサンプルを含むデータストリーム上で、モデルをエンドツーエンドに訓練すること。
• 再利用されるソースデータの制限と軽量な混合操作の使用により、計算効率を確保し、実世界の低データシナリオにおいて実用的であることを保証すること。

実験結果

リサーチクエスチョン

• RQ1 なぜ、事前学習モデルからの単純な非教師あり微調整は、小規模なラベルなしターゲットデータに対して失敗するのか？
• RQ2 ラベルなしの限られたターゲットデータに対して微調整する際、表現の質をどのように維持・向上できるか？
• RQ3 ソースデータは、限られたターゲットデータセットでの非教師あり表現学習の安定化において、果たす役割は何か？
• RQ4 データ混合は、低データ環境における表現の凝縮性と一般化性能を向上させることができるか？
• RQ5 提案された戦略を用いた非教師あり微調整は、多様な下流タスクにおけるより良い転移性能をもたらすか？

主な発見

• スパースなソースデータの再利用は、少サンプル転移性能を顕著に向上させ、Caltech101では2ショット精度が6.8%、Petでは6.9%向上した。
• データ混合は全データセットで一貫して性能向上を示し、Food101では2ショット転移精度が23.12%向上した。
• 両方の戦略を組み合わせた場合が最良の性能を示し、Caltech101における8ショット転移では87.24%の精度を達成し、ベースラインの非教師あり微調整を上回った。
• 非教師あり微調整で得たモデルを初期化として用いた半教師あり学習では、Food101で1クラスあたり2ラベルのみの条件下で、標準的な事前学習に比べ8.3%の性能向上を達成した（対照的に標準的学習では2%の向上）。
• アブレーションスタディにより、両方の戦略が不可欠であることが確認された：いずれかを削除すると、特に低データデータセットにおいて顕著な性能低下が生じた。
• 提案手法は、異なる事前学習手法（教師ありおよび非教師あり）、異なるターゲットデータセット（Caltech101, Pet, CIFAR100, Food101）、および異なる転移タスク（検索、クラスタリング、少サンプル学習）にわたって一般化可能である。