[論文レビュー] Improving Few-shot Text Classification via Pretrained Language Representations.

Ningyu Zhang, Zhanlin Sun+3 more|arXiv (Cornell University)|Aug 22, 2019

Natural Language Processing Techniques被引用数 5

ひとこと要約

この論文は、少量の例からの一般化を向上させるために、メタラーニングと事前学習された言語モデルを組み合わせたFew-shotテキスト分類手法を提案している。頑健なモデル初期化と効果的な適応戦略を活用することで、ベンチマークとしての感情分類データセットにおいて最先端の性能を達成し、少量のデータでNLPタスクにおける事前学習の有効性を示している。

ABSTRACT

Text classification tends to be difficult when data are deficient or when it is required to adapt to unseen classes. In such challenging scenarios, recent studies have often used meta-learning to simulate the few-shot task, thus negating implicit common linguistic features across tasks. This paper addresses such problems using meta-learning and unsupervised language models. Our approach is based on the insight that having a good generalization from a few examples relies on both a generic model initialization and an effective strategy for adapting this model to newly arising tasks. We show that our approach is not only simple but also produces a state-of-the-art performance on a well-studied sentiment classification dataset. It can thus be further suggested that pretraining could be a promising solution for few-shot learning of many other NLP tasks. The code and the dataset to replicate the experiments are made available at this https URL.

研究の動機と目的

• ラベル付きデータが乏しい、もしくは予期しない新しいクラスが出現するFew-shotテキスト分類の課題に対処すること。
• 既存のメタラーニングアプローチが、タスク間で暗黙の言語的共通性を捉えきれていないという限界を克服すること。
• 事前学習された言語モデルのインダクティブバイアスを活用して、リソースが限られた環境下でのモデル一般化を向上させること。
• メタラーニングと事前学習を組み合わせた、シンプルでありながら効果的な方法を開発し、より良いFew-shot適応を実現すること。
• このアプローチが、Few-shot学習を要する他のNLPタスクへも広く適用可能であることを示すこと。

提案手法

• Few-shot分類の強力な初期表現として、事前学習された言語モデルを活用すること。
• トレーニング中にFew-shot学習シナリオをシミュレートするためにメタラーニングを適用し、新しいタスクへの迅速な適応を可能にすること。
• エピソード学習を通じて、少数のラベル付き例のみを使って新しいクラスに素早く適応できるようにモデルを訓練すること。
• 事前学習のインダクティブバイアスと、メタラーニングによるFew-shot一般化能力を統合すること。
• 迅速な適応を最適化するために、Few-shotエピソード上でエンドツーエンドで微調整すること。
• 事前学習エンコーダーの上に標準の分類ヘッドを用いて、少数の例からラベルを予測すること。

実験結果

リサーチクエスチョン

• RQ1 事前学習された言語モデルとメタラーニングを組み合わせることで、Few-shotテキスト分類のパフォーマンスが向上するか？
• RQ2 事前学習を用いることで、リソースが限られた環境下で、タスク固有のメタラーニング適応の必要性が低下するか？
• RQ3 提案手法は、既存のメタラーニングおよび事前学習のみのベースラインと比較して、Few-shotテキスト分類でどのように異なるか？
• RQ4 少数の例でのみ、モデルが未観測のクラスにどの程度一般化できるか？
• RQ5 このアプローチは、Few-shot学習を要する他のNLPタスクへも拡張可能か？

主な発見

• 提案手法は、Well-studiedな感情分類データセットにおいて、Few-shot設定下で最先端のパフォーマンスを達成した。
• 事前学習された言語表現の統合により、標準のメタラーニングベースラインと比較して、Few-shot一般化性能が顕著に向上した。
• 強いインダクティブバイアスのおかげで、ゼロショットおよびFew-shotの転移性能が優れていた。
• アプローチはシンプルかつ効果的であり、標準的な微調整を超える最小限のアーキテクチャ変更で実現可能だった。
• 結果から、事前学習がさまざまなNLPタスクにおけるFew-shot学習の強力な基盤となり得ることが示唆された。
• コードとデータセットは公開されており、再現性とさらなる研究を可能にしている。