[論文レビュー] Learning to Transfer

Ying Wei, Yu Zhang+1 more|arXiv (Cornell University)|Aug 18, 2017

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 12

ひとこと要約

本論文では、過去の転移学習経験から学習することで、*何を* および *どのように* ソースドメインとターゲットドメイン間で知識を転送すべきかを自動で決定する、新しいフレームワークであるL2T（Learning to Transfer）を提案する。過去の経験に基づいて訓練されたリフレクション関数を用いて知識転送を最適化し、複数のベンチマークで最先端の性能向上を達成しており、ベースライン手法比で最大1.1872倍の向上を示した。

ABSTRACT

Transfer learning borrows knowledge from a source domain to facilitate learning in a target domain. Two primary issues to be addressed in transfer learning are what and how to transfer. For a pair of domains, adopting different transfer learning algorithms results in different knowledge transferred between them. To discover the optimal transfer learning algorithm that maximally improves the learning performance in the target domain, researchers have to exhaustively explore all existing transfer learning algorithms, which is computationally intractable. As a trade-off, a sub-optimal algorithm is selected, which requires considerable expertise in an ad-hoc way. Meanwhile, it is widely accepted in educational psychology that human beings improve transfer learning skills of deciding what to transfer through meta-cognitive reflection on inductive transfer learning practices. Motivated by this, we propose a novel transfer learning framework known as Learning to Transfer (L2T) to automatically determine what and how to transfer are the best by leveraging previous transfer learning experiences. We establish the L2T framework in two stages: 1) we first learn a reflection function encrypting transfer learning skills from experiences; and 2) we infer what and how to transfer for a newly arrived pair of domains by optimizing the reflection function. Extensive experiments demonstrate the L2T's superiority over several state-of-the-art transfer learning algorithms and its effectiveness on discovering more transferable knowledge.

研究の動機と目的

• 各ソース・ターゲットペアに対して最適な転移学習アルゴリズムを手動で選択する課題に対処すること。これは計算的に非現実的で、専門知識を要する。
• 歴史的な経験から転移学習スキルをエンコードしたリフレクション関数を用いることで、転移学習の効果を向上させること。
• 過去の経験からのメタ認知的学習を用いて、*何を* および *どのように* ドメイン間で知識を転送すべきかを自動化する意思決定プロセスを構築すること。
• 多様な転移学習経験から一般化可能な転送戦略を学習することで、臨床的・直感的なアルゴリズム選択に依存するのを減らすこと。

提案手法

• フレームワークは、過去の転移学習経験からリフレクション関数を学習し、ドメインペアと転送された知識を性能向上比にマッピングする。
• リフレクション関数は、転送可能性を捉えるためにMMD、分散、判別基準の3つの要素を組み合わせたモデルで表現する。
• カーネルベースのアプローチを用いてリフレクション関数を表現し、広いスケール範囲でハイパーパrameterを最適化する。
• 新しいドメインペアに対しては、学習済みのリフレクション関数の出力を最大化するように転送知識を最適化し、最適な転送をガイドする。
• DIP、ITL、GFK、SIEなどの複数のベースアルゴリズムを統合し、リフレクション関数の訓練経験を多様化する。
• インクリメンタル学習をサポートしており、新たな転移経験が得られるたびにオンラインで適応可能である。

実験結果

リサーチクエスチョン

• RQ1 過去の転移学習経験から学習したリフレクション関数は、転移学習手法の性能向上を効果的に予測できるか？
• RQ2 MMD、分散、判別基準の複数の要素を組み込むことで、リフレクション関数の品質はどのように向上するか？
• RQ3 転移学習経験の数を増やすことで、L2Tフレームワークの一般化性能と性能は向上するか？
• RQ4 L2Tは、多様なドメイン転送シナリオにおいて、個々の最先端の転移学習アルゴリズムを上回ることができるか？
• RQ5 カーネル範囲の選択が、リフレクション関数における転送可能知識の学習にどのように影響するか？

主な発見

• L2TはOffice-Homeデータセットで最大1.1872の性能向上比を達成し、DIP（1.0317）やITL（1.0359）といった個別のベースラインを大きく上回った。
• 8つのベースアルゴリズムをすべて経験プールに組み込むことで、L2Tは1.1712倍の向上比を達成し、多様な訓練経験の恩恵を示した。
• MMD、分散、判別基準の3要素をすべて含むリフレクション関数が最高の性能を示し、単一成分バージョンと比較して0.0106の上昇を達成した。
• 転移学習経験数を1,000から5,000に増加させたことで、平均的な性能向上が一貫して向上し、特にデータが少ない状況で顕著だった。
• 広いカーネル範囲（例：[2⁻¹²η:2⁰.⁵η:2¹²η]）を用いることで、リフレクション関数の一般化能力が向上し、狭い範囲と比較して最大0.0106の性能向上が得られた。
• すべてのベースラインより統計的に有意な向上（p < 0.05）を達成しており、全テスト設定でp値が0.01未満で一貫していた。