[論文レビュー] Evolution of transfer learning in natural language processing

Aditya Malte, Pratik Ratadiya|arXiv (Cornell University)|Oct 16, 2019

Topic Modeling参考文献 18被引用数 17

ひとこと要約

このサーベイは、NLPにおける転移学習の進化をたどり、BERT、GPT、ELMo、ULMFiT、Transformer-XL、XLNetといった主要なアーキテクチャを強調している。大規模コーパスにおける自己教師あり事前学習とその後のファインチューニングにより、NLPタスク全体で最先端のパフォーマンスが達成可能となり、特にTransformerベースのモデルは長距離依存関係のモデリングとキャプチャを著しく改善している。

ABSTRACT

In this paper, we present a study of the recent advancements which have helped bring Transfer Learning to NLP through the use of semi-supervised training. We discuss cutting-edge methods and architectures such as BERT, GPT, ELMo, ULMFit among others. Classically, tasks in natural language processing have been performed through rule-based and statistical methodologies. However, owing to the vast nature of natural languages these methods do not generalise well and failed to learn the nuances of language. Thus machine learning algorithms such as Naive Bayes and decision trees coupled with traditional models such as Bag-of-Words and N-grams were used to usurp this problem. Eventually, with the advent of advanced recurrent neural network architectures such as the LSTM, we were able to achieve state-of-the-art performance in several natural language processing tasks such as text classification and machine translation. We talk about how Transfer Learning has brought about the well-known ImageNet moment for NLP. Several advanced architectures such as the Transformer and its variants have allowed practitioners to leverage knowledge gained from unrelated task to drastically fasten convergence and provide better performance on the target task. This survey represents an effort at providing a succinct yet complete understanding of the recent advances in natural language processing using deep learning in with a special focus on detailing transfer learning and its potential advantages.

研究の動機と目的

• 自然言語処理における転移学習の進化を包括的に概説すること。
• 自己教師あり事前学習とファインチューニングの役割が、NLPモデルのパフォーマンス向上にどのように寄与しているかを分析すること。
• Transformer、相対的位置エンコーディング、順列ベースの事前学習といったアーキテクチャ的革新が、長距離依存関係のより良いモデリングを可能にした理由を検討すること。
• 現代のNLPモデルにおけるパフォーマンス、計算コスト、解釈可能性のトレードオフを評価すること。
• モデル事前学習における未解決の課題、特に標準化されたベンチマークの欠如や、アーキテクチャの進化とデータスケールのどちらがパフォーマンス向上に寄与しているかの特定の難しさを特定すること。

提案手法

• ルールベースのシステムや統計的モデル（例：ナイーブベイズ、SVM）からRNNやLSTMに至るまでの基盤的NLP手法をサーベイする。
• BookCorpus、Wikitext、1B Wordといったデータセットを用いて、言語モデリング目的による自己教師あり事前学習への移行を詳細に説明する。
• スケーラブルで並列処理可能なシーケンスモデリングを可能にするコア要因としてのTransformerアーキテクチャとそのアテンションメカニズムを紹介する。
• 再帰的処理と長距離シーケンスモデリングにおいても順序的文脈を保持できるようにする、Transformer-XLにおける相対的位置エンコーディングの革新を説明する。
• すべてのシーケンス順列を用いてマスクされたトークンを予測する一般化された自己回帰的事前学習を説明し、BERTの双方向マスキングの制限を克服する。
• Transformer-XLの統合が、長距離依存関係モデリングと機械的読解理解などのタスクパフォーマンスの向上にどのように寄与したかを分析する。

実験結果

リサーチクエスチョン

• RQ1 ルールベースおよび統計的NLP手法からディープラーニングモデルへの移行が、言語理解をどのように向上させたか？
• RQ2 特に長距離依存関係のモデリングにおいて、転移学習が有効に機能するための主要なアーキテクチャ的革新は何か？
• RQ3 Transformer-XLにおける相対的位置エンコーディングは、絶対的位置埋め込みと比較して、なぜより優れたシーケンスモデリングを可能にするのか？
• RQ4 XLNetの順列ベースの事前学習は、BERTのマスク言語モデリングの制限をどのように克服しているか？
• RQ5 現代の事前学習NLPモデルにおいて、パフォーマンス、計算コスト、解釈可能性の間にはどのようなトレードオフがあるか？

主な発見

• 大規模コーパスにおける自己教師あり事前学習によって促進されたNLPにおける転移学習は、多様なNLPタスクで顕著なパフォーマンス向上をもたらし、現在の主要なパラダイムとなっている。
• Transformer-XLは、キャッシュされた隠れ状態と相対的位置エンコーディングを用いることで、enwiki8およびtext8で最先端の結果を達成し、長距離依存関係をモデリングした。
• XLNetは18のNLPタスクでBERTを上回り、特に機械的読解理解タスクで顕著な向上を示した。これは、順列ベースの事前学習とTransformer-XLの統合のおかげである。
• BERTにおける事前学習（[MASK]トークンの使用）とファインチューニングの不一致が、最適でないパフォーマンスをもたらしていたが、XLNetはシーケンスのすべての順列をモデル化することでこの問題を解決した。
• パフォーマンスの向上にもかかわらず、BERT や XLNet、Transformer-XL といった大規模モデルは膨大な計算リソースを要し、解釈性に欠けるため、実世界への展開に懸念が生じている。
• 標準化された事前学習データセットが存在しないため、パフォーマンス向上の要因がアーキテクチャの革新にあるのか、単に事前学習データのスケールの向上にあるのかを特定することが困難であり、ベンチマークの標準化の必要性が浮き彫りになっている。