[論文レビュー] A Comprehensive Survey on Transfer Learning

Fuzhen Zhuang, Zhiyuan Qi+6 more|arXiv (Cornell University)|Nov 7, 2019

Domain Adaptation and Few-Shot Learning参考文献 208被引用数 228

ひとこと要約

この調査は40 を超える転移学習アプローチを体系的にレビューし、データとモデルの観点から均質な転移学習に焦点を当て、3つのデータセットで20 を超えるモデルを比較して実践を導く。

ABSTRACT

Transfer learning aims at improving the performance of target learners on target domains by transferring the knowledge contained in different but related source domains. In this way, the dependence on a large number of target domain data can be reduced for constructing target learners. Due to the wide application prospects, transfer learning has become a popular and promising area in machine learning. Although there are already some valuable and impressive surveys on transfer learning, these surveys introduce approaches in a relatively isolated way and lack the recent advances in transfer learning. Due to the rapid expansion of the transfer learning area, it is both necessary and challenging to comprehensively review the relevant studies. This survey attempts to connect and systematize the existing transfer learning researches, as well as to summarize and interpret the mechanisms and the strategies of transfer learning in a comprehensive way, which may help readers have a better understanding of the current research status and ideas. Unlike previous surveys, this survey paper reviews more than forty representative transfer learning approaches, especially homogeneous transfer learning approaches, from the perspectives of data and model. The applications of transfer learning are also briefly introduced. In order to show the performance of different transfer learning models, over twenty representative transfer learning models are used for experiments. The models are performed on three different datasets, i.e., Amazon Reviews, Reuters-21578, and Office-31. And the experimental results demonstrate the importance of selecting appropriate transfer learning models for different applications in practice.

研究の動機と目的

• 転移学習とその機構について統一的で総合的な見解を提供する。
• データとモデルの視点から既存の転移学習アプローチを体系的に分類する。
• ドメイン間の分布差を低減しデータ特性を保持する戦略を要約する。
• 標準ベンチマークで複数の転移学習モデルを比較することで実践的な指針を示す。

提案手法

• 均質な転移学習を強調しつつ、40を超える代表的な転移学習アプローチをレビューする。
• データに基づく視点とモデルに基づく視点の両面から転移学習を解釈する。
• インスタンス重み付け、分布指標（例：MMD）および特徴変換技術について論じる。
• 特徴拡張手法（例：FAM）と、それらが異種タスクに対して持つ限界を説明する。
• 実験実践を要約し、3つのデータセット（Amazon Reviews、Reuters-21578、Office-31）で20を超えるモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン間で知識を転移する際の主なデータ中心およびモデル中心の戦略は何か？
• RQ2 均質な転移シナリオと異種転移シナリオはどのように異なり、それぞれに対処する方法は何か？
• RQ3 標準ベンチマークで優れた性能を示す転移学習アプローチはどれで、どのような設定でそうなるか？
• RQ4 ソースドメインとターゲットドメイン間の分布差をどのように測定し、軽減できるか？

主な発見

• 多様な転移学習アプローチは、インスタンスベース、特徴ベース、パラメータベース、リレーションベースの手法に分類される。
• 最大平均差異（MMD）および関連指標は、分布差を定量化し適応を導くために一般的に使用される。
• 特徴拡張およびマッピング技術は、ドメイン間で共通の潜在表現を可能にし、均質な場合にはFAM、異種の場合にはHFAのような適応を伴う。
• 経験的結果は、標準データセット全体で特定のアプリケーションに適した転移学習モデルを選択することの重要性を示している。
• 本調査は、ドメインの関連性が弱いまたは不整合な場合にネガティブ転移が生じうることを指摘している。