[論文レビュー] Fine-tuned Language Models for Text Classification.

Jeremy Howard, Sebastian Ruder|arXiv (Cornell University)|Jan 18, 2018

Multimodal Machine Learning Applications参考文献 48被引用数 342

ひとこと要約

この論文では、優れた微調整技術を用いて、最先端の言語モデルをテキスト分類タスクに適応させるトランスファーラーニング手法であるFine-tuned Language Models (FitLaM) を紹介する。5つのテキスト分類ベンチマークで18-24%の誤差低減を達成し、先行手法を上回り、コミュニティ利用のためのモデルとコードを公開している。

ABSTRACT

Transfer learning has revolutionized computer vision, but existing approaches in NLP still require task-specific modifications and training from scratch. We propose Fine-tuned Language Models (FitLaM), an effective transfer learning method that can be applied to any task in NLP, and introduce techniques that are key for fine-tuning a state-of-the-art language model. Our method significantly outperforms the state-of-the-art on five text classification tasks, reducing the error by 18-24% on the majority of datasets. We open-source our pretrained models and code to enable adoption by the community.

研究の動機と目的

• 自然言語処理における汎用的トランスファーラーニング手法を開発し、タスク固有の訓練を再び行う必要をなくす。
• テキスト分類タスクにおける微調整パフォーマンスを向上させるためのキーテクニックを特定・適用する。
• 複数のテキスト分類ベンチマークで、既存の最先端手法を著しく上回る性能を達成する。
• 自然言語処理コミュニティにおける採用促進と再現可能性を高めるために、事前学習済み言語モデルとコードを公開する。

提案手法

• 方法は、下流のテキスト分類タスクで事前学習済み言語モデルを微調整することでトランスファーラーニングを実装する。
• 分類タスクにおける微調整の安定性とパフォーマンスを向上させるために、特定の技術を導入する。
• 本アプローチは、さまざまな自然言語処理のテキスト分類タスクに普遍的に適用可能である。
• 標準的な最適化手順を用いて、ラベル付きデータセット上でエンドツーエンドにモデルを微調整する。
• 事前学習済み言語モデルの文脈的表現を活用して、下流の分類精度を向上させる。
• フレームワークはコードと事前学習済みモデルを併せて実装・公開し、一般利用を可能にしている。

実験結果

リサーチクエスチョン

• RQ1 テキスト分類タスクにおける最先端の言語モデルの微調整に最も効果的な技術は何か？
• RQ2 統一された微調整アプローチは、テキスト分類においてタスク固有のトレーニング設定を上回ることができるか？
• RQ3 既存の事前学習済み言語モデルに微調整を適用することで、多様なテキスト分類ベンチマークでどの程度の誤差低減が達成できるか？
• RQ4 提案手法は、さまざまなテキスト分類データセットにどの程度一般化可能か？

主な発見

• FitLaM手法は、評価された5つのテキスト分類データセットの大部分で分類誤差を18-24%低減した。
• 本アプローチは、5つのベンチマークデータセットすべてで、最先端の手法を一貫して上回った。
• 微調整技術により、タスク固有のアーキテクチャの変更なしに、事前学習済み言語モデルの効果的な適応が可能になった。
• モデルとコードのオープンソース化により、コミュニティ全体の採用促進と再現可能性が促進された。
• 本手法は、多様なテキスト分類タスクに強く一般化する能力を示した。