[論文レビュー] Transferability in Deep Learning: A Survey

Junguang Jiang, Yang Shu+2 more|arXiv (Cornell University)|Jan 15, 2022

Domain Adaptation and Few-Shot Learning被引用数 80

ひとこと要約

本調査は事前学習、適応、評価を深層学習の移転性に結びつけ、移転性手法の公正なベンチマーキングのための TLlib を紹介します。

ABSTRACT

The success of deep learning algorithms generally depends on large-scale data, while humans appear to have inherent ability of knowledge transfer, by recognizing and applying relevant knowledge from previous learning experiences when encountering and solving unseen tasks. Such an ability to acquire and reuse knowledge is known as transferability in deep learning. It has formed the long-term quest towards making deep learning as data-efficient as human learning, and has been motivating fruitful design of more powerful deep learning algorithms. We present this survey to connect different isolated areas in deep learning with their relation to transferability, and to provide a unified and complete view to investigating transferability through the whole lifecycle of deep learning. The survey elaborates the fundamental goals and challenges in parallel with the core principles and methods, covering recent cornerstones in deep architectures, pre-training, task adaptation and domain adaptation. This highlights unanswered questions on the appropriate objectives for learning transferable knowledge and for adapting the knowledge to new tasks and domains, avoiding catastrophic forgetting and negative transfer. Finally, we implement a benchmark and an open-source library, enabling a fair evaluation of deep learning methods in terms of transferability.

研究の動機と目的

• 移転性とは何か、それがデータ効率の高い深層学習において果たす役割を定義する。
• 事前学習と適応のライフサイクルを統一的に捉える。
• 事前学習の主要手法（教師ありおよび自己監視/無監視）と適応（タスクおよびドメイン）を概観する。
• 破局的忘却やネガティブ転移などの課題を強調し、公正な評価のためのベンチマークとライブラリを提案する。

提案手法

• 移転可能な表現に影響を与えるモデルアーキテクチャと帰納的バイアスを検討する。
• データ品質とドメイン類似性の影響を含む教師あり事前学習を検討する。
• 生成的学習と対比学習を含む自己教師付き事前学習を検討する。
• 転移性を向上させる戦略としてメタ学習と因果学習を論じる。
• 評価ベンチマークと公正な手法比較のためのオープンソース TLlib を提示する。

実験結果

リサーチクエスチョン

• RQ1 一般的な転移性とタスク/ドメイン特異的な転移性を支配する要因は何か？
• RQ2 タスクとドメイン全体で転移性を最大化するように事前学習と適応を設計するにはどうすればよいか？
• RQ3 転移性手法の公正で再現性のある評価を保証する原則は何か？
• RQ4 継続学習、ドメイン一般化、および関連設定が移転性研究をどのように啓発できるか？

主な発見

• 事前学習の品質とモデルアーキテクチャ（例：深さ、Transformerベースの設計）が下流の転移性に強く影響する。
• 教師ありおよび自己監視/無監視の事前学習は、データスケールとタスク設計が重要な役割を果たす、補完的な移転表現への道を提供する。
• メタ学習と因果学習は、より速く、またはより頑健な適応と一般化を環境全体で実現する戦略を提供する。
• ドメイン適応理論は、分布シフトを埋めるために用いられる実践的なアルゴリズムを裏付ける。
• オープンソースの TLlib ライブラリは、事前学習と適応手法全体にわたる公正で再現性のあるベンチマークを可能にする。