[論文レビュー] FineText: Text Classification via Attention-based Language Model Fine-tuning

Yunzhe Tao, Saurabh Gupta+4 more|arXiv (Cornell University)|Oct 25, 2019

Topic Modeling参考文献 31被引用数 4

ひとこと要約

FineTextは、事前学習言語モデルから文脈に応じた特徴を抽出することで、テキスト分類のパフォーマンスを向上させるアテンションベースのファインチューニング手法を提案する。自己アテンションを用いて関連する表現を選択することで、6つのベンチマークデータセットで最先端の結果を達成し、従来のSOTA手法に対する相対的な改善率は2.27%から25.38%の範囲にのぼる。

ABSTRACT

Training deep neural networks from scratch on natural language processing (NLP) tasks requires significant amount of manually labeled text corpus and substantial time to converge, which usually cannot be satisfied by the customers. In this paper, we aim to develop an effective transfer learning algorithm by fine-tuning a pre-trained language model. The goal is to provide expressive and convenient-to-use feature extractors for downstream NLP tasks, and achieve improvement in terms of accuracy, data efficiency, and generalization to new domains. Therefore, we propose an attention-based fine-tuning algorithm that automatically selects relevant contextualized features from the pre-trained language model and uses those features on downstream text classification tasks. We test our methods on six widely-used benchmarking datasets, and achieve new state-of-the-art performance on all of them. Moreover, we then introduce an alternative multi-task learning approach, which is an end-to-end algorithm given the pre-trained model. By doing multi-task learning, one can largely reduce the total training time by trading off some classification accuracy.

研究の動機と目的

• 事前学習言語モデルを活用した、下流のテキスト分類タスクに効果的な転移学習アルゴリズムの開発。
• 大規模なラベル付きデータセットと長時間の学習を必要とする深層ニューラルネットワークの訓練の限界を克服すること。
• アテンション機構を用いた特徴選択により、精度、データ効率、および新しいドメインへの一般化性能の向上。
• 言語モデルと分類器を同時にファインチューニングすることで、学習時間を短縮するマルチタスク学習アプローチの検討。
• 事前学習データとモデルアーキテクチャが下流タスクのパフォーマンスに与える影響の評価。

提案手法

• 自己アテンション機構を用いて、事前学習言語モデルの隠れ状態から関連する文脈特徴を動的に選択・重み付けする。
• 選択されたアテンション重み付き特徴を、従来の連結やプーリング戦略に代わる、下流のテキスト分類器の入力表現として使用する。
• 分類のためのクロスエントロピー損失と、特徴の最適化のための言語モデリング目的の両方を用いて、エンドツーエンドでモデルを学習する。
• 代替的なマルチタスク学習フレームワークを導入し、言語モデルと分類器を、両目的を組み合わせた重み付き損失で同時にファインチューニングする。
• アテンション機構はシーケンスレベルに適用され、分類に寄与する顕著なトークンや文脈的依存関係に注目できる。
• 標準的な事前学習言語モデルを用い、6つの広く使われているテキスト分類ベンチマークで評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 事前学習言語モデルからのアテンションベースの特徴選択が、下流のテキスト分類タスクのパフォーマンスに与える影響は何か？
• RQ2 事前学習言語モデルのどの要因（例：学習データ、アーキテクチャ）が下流タスクのパフォーマンスに最も顕著に影響を与えるか？
• RQ3 言語モデルと分類器を共同でファインチューニングするマルチタスク学習アプローチは、分類精度を損なわずに学習時間を短縮できるか？
• RQ4 ULMFiT や ELMo といった既存のSOTA手法と比較して、提案手法の精度とデータ効率はどの程度優れているか？
• RQ5 固定プーリングや連結戦略と比較して、アテンション機構が特徴の代表性をどの程度向上させるか？

主な発見

• 提案手法のアテンションベースのファインチューニングは、AG、IMDb、DBpedia、Yelp-bi、Yelp-full、Sogouニュースの6つのベンチマークデータセットすべてで、新たなSOTAパフォーマンスを達成した。
• Yelp-biデータセットでは、ULMFiTに対して16.88%の相対的改善、従来のSOTAに対して25.38%の改善を達成し、リソースが限られた環境下でも顕著な向上を示した。
• Sogouニュースデータセットでは、ULMFiTに対して25.22%の相対的改善、従来のSOTAに対して8.15%の改善を達成し、多様なドメインにわたり高い有効性を示した。
• マルチタスク学習バージョンでは、AGニュースデータセットにおける総学習時間を6.5時間から3.5時間に短縮したが、誤差率はわずかに5.49%に上昇した。
• アテンション可視化により、モデルが意味的に関連するトークン（例：クラス固有のキーワード）に注目していることが確認され、解釈可能性と特徴の関連性が向上した。
• アンサンブルやマルチヘッドアテンションのバリエーションと比較して、単一の自己アテンション層がパフォーマンスと複雑さのトレードオフにおいて優れており、最終アーキテクチャへの採用を正当化した。