[論文レビュー] When Low Resource NLP Meets Unsupervised Language Model: Meta-pretraining Then Meta-learning for Few-shot Text Classification

Shumin Deng, Ningyu Zhang+3 more|arXiv (Cornell University)|Aug 22, 2019

Topic Modeling参考文献 21被引用数 11

ひとこと要約

この論文は、低リソース環境における少データ学習向けに、教師なし言語モデル事前学習とメタラーニングを組み合わせたメタ事前学習次にメタラーニング（MTM）フレームワークを提案する。タスクに依存しない表現とタスク固有の表現を分離することで、ARSCベンチマークで90.01%の正確度という最先端の性能を達成し、従来手法を顕著に上回る。

ABSTRACT

Text classification tends to be difficult when data are deficient or when it is required to adapt to unseen classes. In such challenging scenarios, recent studies have often used meta-learning to simulate the few-shot task, thus negating implicit common linguistic features across tasks. This paper addresses such problems using meta-learning and unsupervised language models. Our approach is based on the insight that having a good generalization from a few examples relies on both a generic model initialization and an effective strategy for adapting this model to newly arising tasks. We show that our approach is not only simple but also produces a state-of-the-art performance on a well-studied sentiment classification dataset. It can thus be further suggested that pretraining could be a promising solution for few-shot learning of many other NLP tasks. The code and the dataset to replicate the experiments are made available at https://github.com/zxlzr/FewShotNLP.

研究の動機と目的

• ラベル付きデータが乏しく、訓練時に未確認の新しいクラスが登場する状況における少データテキスト分類の課題に対処すること。
• タスクに依存しない表現とタスク固有の表現を明示的に分離することで、低リソースNLPにおけるモデルの汎化能力を向上させること。
• 教師なし言語モデルを用いて、少データ学習のシナリオにおける初期化と適応を改善すること。
• 最小限のラベル付きデータで多様なNLPタスクに容易に適応可能な、シンプルでありながら効果的な手法を開発すること。

提案手法

• まず、大規模な生テキストコーパスからタスクに依存しない文脈表現を学ぶために、言語モデル（例：BERT）を用いた教師なし事前学習を実行する。
• 次に、エピソードをサポートセットとクエリセットから構築することで、少データ学習タスクをシミュレートするメタラーニングの枠組みを採用する。
• 二段階の最適化によりモデルを訓練する：内側のループでは各エピソードのサポートセット上でモデルを適応させ、外側のループではテストセットの予測から得られる勾配を用いて初期パラメータを更新する。
• 事前学習による汎用的特徴学習と、メタラーニングによるタスク固有の適応を明示的に分離することで、汎化性能を向上させる。
• 勾配ベースのメタラーニングと二段階最適化を採用：外側のループでは、すべてのタスクにおけるメタ損失を最小化するようにモデルの初期重みを更新する。
• この手法はタスクに依存しない設計となっており、テキスト分類以外の多様なNLPタスクへの容易な適応が可能である。

実験結果

リサーチクエスチョン

• RQ1 教師なし言語モデル事前学習は、低リソース環境下での少データテキスト分類性能を向上させることができるか？
• RQ2 タスクに依存しない表現学習とタスク固有の表現学習を分離することで、少データ学習における汎化性能が向上するか？
• RQ3 事前学習済み表現を用いたメタラーニングは、ベンチマークデータセット上で既存の少データ学習モデルを上回ることができるか？
• RQ4 提案されたMTMフレームワークは、最先端の手法と比較して、少データテキスト分類においてどれほど効果的か？

主な発見

• MTMモデルはARSCベンチマークで平均正確度90.01%を達成し、すべてのベースラインモデルを顕著に上回った。
• 次に優れたモデルであるInduction-Network-Routingとの差は、対応したt検定で統計的に有意であった（p < 0.01）。
• モデルは強力な汎化能力を示し、よく研究された感情分類データセットでも最先端の性能を達成した。
• 結果から、メタ事前学習に続くメタラーニングが、低リソースNLPにおける少データ学習を効果的に向上させることを検証した。
• たとえ各クラスに対して5つのサポート例しか与えられていない状況でも、モデルは高いロバストネスを示した。