[論文レビュー] Practical Text Classification With Large Pre-Trained Language Models

Neel Kant, Raul Puri+2 more|arXiv (Cornell University)|Dec 4, 2018

Sentiment Analysis and Opinion Mining参考文献 18被引用数 43

ひとこと要約

本論文は、大規模なテキストコーパスでの教師なし事前学習を行い、その後 Transformer と mLSTM モデルを用いてファインチューニングすることで、二値感情分析と多次元感情分類の実践的な性能を高め、実世界のツイートで商用APIを上回り、SemEvalの結果にも競合することを示している。

ABSTRACT

Multi-emotion sentiment classification is a natural language processing (NLP) problem with valuable use cases on real-world data. We demonstrate that large-scale unsupervised language modeling combined with finetuning offers a practical solution to this task on difficult datasets, including those with label class imbalance and domain-specific context. By training an attention-based Transformer network (Vaswani et al. 2017) on 40GB of text (Amazon reviews) (McAuley et al. 2015) and fine-tuning on the training set, our model achieves a 0.69 F1 score on the SemEval Task 1:E-c multi-dimensional emotion classification problem (Mohammad et al. 2018), based on the Plutchik wheel of emotions (Plutchik 1979). These results are competitive with state of the art models, including strong F1 scores on difficult (emotion) categories such as Fear (0.73), Disgust (0.77) and Anger (0.78), as well as competitive results on rare categories such as Anticipation (0.42) and Surprise (0.37). Furthermore, we demonstrate our application on a real world text classification task. We create a narrowly collected text dataset of real tweets on several topics, and show that our finetuned model outperforms general purpose commercially available APIs for sentiment and multidimensional emotion classification on this dataset by a significant margin. We also perform a variety of additional studies, investigating properties of deep learning architectures, datasets and algorithms for achieving practical multidimensional sentiment classification. Overall, we find that unsupervised language modeling and finetuning is a simple framework for achieving high quality results on real-world sentiment classification.

研究の動機と目的

• 大規模な教師なし言語モデル化とファインチューニングを組み合わせることで、実用的なテキスト分類タスクを解決できることを示す。
• 感情分析とPlutchikベースの感情分類において、TransformerとmLSTMアーキテクチャを比較する。
• 学術データセット（SemEval）と実世界のソーシャルメディアデータで、商用APIと比較して性能を評価する。
• データセットサイズ、モデルアーキテクチャ（単一ヘッド vs マルチヘッド）、アクティブラーニングが性能に及ぼす影響を調査する。
• 大規模な事前学習モデルの、ドメイン固有の文脈への一般化を理解するためのアブレーションと分析を提供する。

提案手法

• 40GBのAmazonレビューを用いてTransformerとmLSTMで言語モデルを事前学習する。
• 事前学習済みモデルを、タスク固有のデコーダを用いて二値感情分析とPlutchikの多次元感情タスクにファインチューニングする。
• ツイートに適するよう、32,000語片のBPE語彙と短いシーケンス長（64）を使用する。
• デコーダf_d'を、単一の二値出力またはマルチラベル感情のためのマルチヘッド構成でファインチューニングする。
• Transformerのファインチューニング時に補助的な言語モデリング損失を組み込み、ELMoベースラインと比較する。
• 固定閾値ではなく保持セット上で最適化された閾値を適用してクラス不均衡に対処する。
• 追加のツイートを選択的にラベル付けし、感情カテゴリのバランスを取るためのアクティブラーニングを探る。

実験結果

リサーチクエスチョン

• RQ1 大規模な教師なし事前学習を小規模でドメイン特化したラベル付きデータへファインチューニングした場合、実用的な感情・情動分類タスクにどれだけ有効か。
• RQ2 この転移学習設定において、特に多次元感情分類で、TransformerベースのモデルがmLSTMモデルより優れているか。
• RQ3 データセットサイズ、デコーダーアーキテクチャ（単一ヘッド vs マルチヘッド）、アクティブラーニングが、不均衡な感情カテゴリの性能にどのように影響するか。
• RQ4 実世界のソーシャルメディアデータとSemEvalベンチマークに対して、商用感情API/APIとどの程度比較できるか。
• RQ5 ドメイン文脈を跨ぐ単一モデルの適用課題は何か、文脈データでのファインチューニングが堅牢な一般化を達成できるか。

主な発見

• Transformer finetuningはSemEval Task 1:E-cでマクロF1が0.690を達成。
• 二値感情分析では、Transformer (finetune) がSST精度90.9%を達成し、企業ツイートでWatsonとGoogle APIを上回る。
• SemEvalの感情カテゴリのうちFear 0.73、Disgust 0.77、Anger 0.78などで競争力のある結果を示し、希少カテゴリではAnticipation 0.42、Surprise 0.37。
• Transformerは一般にmLSTMより優れており、特に多次元感情分類で顕著。
• アクティブラーニングはラベル付き集合のクラスバランスを改善（全体で11.2%対8.2%のポジティブ比率、カテゴリ横断）し、ノーエモーションツイートを減少（35.6%対52.1%）させる。
• Transformerでのファインチューニング（ELMoベースラインはやや弱い程度）により、現実世界のツイートデータセットで商用APIより強力な結果を得られる。