[論文レビュー] A Survey on Transfer Learning in Natural Language Processing

Zaid Alyafeai, Maged S. Al-shaibani+1 more|arXiv (Cornell University)|May 31, 2020

Topic Modeling参考文献 79被引用数 53

ひとこと要約

この調査はNLPにおける転移学習の進展をレビューし、分類法を提案し、事前学習言語モデルがタスクとドメイン間で知識を転移させる方法を要約します。

ABSTRACT

Deep learning models usually require a huge amount of data. However, these large datasets are not always attainable. This is common in many challenging NLP tasks. Consider Neural Machine Translation, for instance, where curating such large datasets may not be possible specially for low resource languages. Another limitation of deep learning models is the demand for huge computing resources. These obstacles motivate research to question the possibility of knowledge transfer using large trained models. The demand for transfer learning is increasing as many large models are emerging. In this survey, we feature the recent transfer learning advances in the field of NLP. We also provide a taxonomy for categorizing different transfer learning approaches from the literature.

研究の動機と目的

• 深層モデルにおけるデータと計算資源の制約のため、NLPにおける転移学習の研究を喚起する。
• NLPにおける転移学習アプローチを分類する分類体系を提供する。
• 最近の言語モデル駆動の転移学習の進展とその応用を要約する。
• NLPの転移学習で用いられるデータセットと評価設定を取り上げる。

提案手法

• 確立された分類体系に従って文献をレビューし、分類する（transductive vs. inductive transfer learning）。
• モデルアーキテクチャ（RNNs, CNNs, アテンションベースのTransformer）と転移学習における役割を説明する。
• 転移技術の分類を提示する：連続的ファインチューニング、アダプタモジュール、特徴ベースの表現、ゼロショットアプローチ。
• 顕著な事前学習済み言語モデルとその訓練目的を要約する（LM、MLM、NSP、seq2seq、XL/encoder–decoder バリアント）。
• NLPの転移学習で一般的に使用されるデータセットとベンチマークを論じる（例：SQuAD、GLUE、SuperGLUE）。
• 選択した研究の知見を総合して手法を転移設定に対応づける。

実験結果

リサーチクエスチョン

• RQ1 NLPタスクにおいて最も効果的な転移学習パラダイムは何か（transductive vs. inductive）？
• RQ2 事前学習済み言語モデルはタスク間・ドメイン間の知識転移をどのように実現するのか？
• RQ3 NLPにおける学習転送の主要戦略（ファインチューニング、アダプタ、特徴表現、ゼロショット）は何か？
• RQ4 NLP転移学習の進展と限界を最もよく捉えるデータセットとベンチマークは何か？

主な発見

• 言語モデルはNLPタスク間の大きな知識転移を可能にするよう進化してきた。
• Transformerベースの事前学習モデル（例：BERT、GPT-2、ELMo、XLNet）は、多様な転移能力を定義する（単方向、双方向、マスク、seq2seq、encoder–decoder）。
• ファインチューニング、アダプター、特徴ベースの表現は、データ効率が異なる中心的な転移技術である。
• ドメイン適応とクロスリンガル転移は依然として活発な分野で、低資源言語で顕著な成果を上げている。
• 普遍的なファインチューニングと堅牢な事前学習表現は、複数のNLPベンチマークで最先端を達成している。
• 長距離依存性と文脈表現の改善（例：Transformer-XL、RoBERTa）は転移性能を高める。