[論文レビュー] Application of Pre-training Models in Named Entity Recognition

Yu Wang, Yining Sun+4 more|arXiv (Cornell University)|Feb 9, 2020

Topic Modeling参考文献 16被引用数 5

ひとこと要約

本稿では、MSRA-2006 データセットを用いた微調整により、中国語 Named Entity Recognition (NER) のための4つの事前学習言語モデル—BERT、ERNIE、ERNIE2.0-tiny、RoBERTa—を評価している。RoBERTaは、動的マスキングと文レベルのNSP事前学習タスクの削除により、94.17%のF1スコアを達成し、SOTAを記録した。これは、NERタスクに対して有害であったためである。

ABSTRACT

Named Entity Recognition (NER) is a fundamental Natural Language Processing (NLP) task to extract entities from unstructured data. The previous methods for NER were based on machine learning or deep learning. Recently, pre-training models have significantly improved performance on multiple NLP tasks. In this paper, firstly, we introduce the architecture and pre-training tasks of four common pre-training models: BERT, ERNIE, ERNIE2.0-tiny, and RoBERTa. Then, we apply these pre-training models to a NER task by fine-tuning, and compare the effects of the different model architecture and pre-training tasks on the NER task. The experiment results showed that RoBERTa achieved state-of-the-art results on the MSRA-2006 dataset.

研究の動機と目的

• 事前学習言語モデルの中国語 Named Entity Recognition (NER) パフォーマンスへの効果を評価すること。
• モデルアーキテクチャと事前学習タスクがNERパフォーマンスに与える影響を調査すること。
• 静的マスキングと動的マスキング、エンティティレベルのマスキングなどの異なる事前学習戦略がNERに与える影響を比較すること。
• 文レベルの事前学習タスク（例：NSP）がNERのような系列ラベル付けタスクに有益かどうかを検証すること。
• アーキテクチャと事前学習目的に基づいて、NERに最適な事前学習モデルを選択するための実証的証拠を提供すること。

提案手法

• MSRA-2006 中国語NERデータセット上で、4つの事前学習モデル—BERT、ERNIE、ERNIE2.0-tiny、RoBERTa—を微調整した。
• 出力のラベル依存性をモデル化し、有効なタグ列が得られるように、事前学習モデルの出力上にCRF層を適用した。
• 事前学習モデルの最終層の後に全結合層を適用し、文脈的表現をタグ空間に射影した。
• BERTとERNIEでは静的マスキングを採用したが、RoBERTaは各訓練エポックで異なるトークンがマスキングされる動的マスキングを採用した。
• BERTとERNIEとは異なり、RoBERTaではNext Sentence Prediction (NSP) タスクを削除し、それがNERパフォーマンスに与える影響を評価した。
• PaddlePaddleを用い、AI Studio上のV100 GPUでモデルを訓練した。ハイパーパramータは開発セットで最適化し、2エポック、初期値学習率5e-5、バッチサイズ16を設定した。

実験結果

リサーチクエスチョン

• RQ1 MSRA-2006 データセットにおける、異なる事前学習モデルアーキテクチャ（例：層数、隠れ層サイズ）がNERパフォーマンスに与える影響は何か？
• RQ2 事前学習タスク（特にMLM、NSP、エンティティ／フレーズレベルのマスキング）がNERパフォーマンスに与える影響は何か？
• RQ3 RoBERTaではNSP事前学習タスクを削除しているが、BERTやERNIEと比較してNERタスクのパフォーマンスに向上または低下をもたらすか？
• RQ4 ERNIE2.0-tiny はより多くの隠れユニットと継続的学習を備えているにもかかわらず、なぜパフォーマンスが低く抑えられているのか？また、その浅いアーキテクチャはパフォーマンスにどのように影響しているか？
• RQ5 RoBERTaにおける動的マスキングは、BERT や ERNIE が採用する静的マスキングと比較して、意味的表現の向上にどの程度寄与しているか？

主な発見

• RoBERTaはMSRA-2006 データセットで94.17%のF1スコアを達成し、BERT（93.30%）、ERNIE（93.37%）、ERNIE2.0-tiny（86.52%）を上回った。
• RoBERTaでNext Sentence Prediction (NSP) タスクを削除したことでパフォーマンスが向上した。これは、文レベルの事前学習がNERタスクには有益ではなく、長距離依存性学習を妨げることを示している。
• RoBERTaの動的マスキングは、モデルの汎化性能と意味的表現を向上させ、静的マスキングを採用するBERT や ERNIE と比較して、優れたパフォーマンスを発揮した。
• ERNIE2.0-tiny はより多くの隠れユニットと継続的学習を備えているが、F1スコアは86.52%にとどまり、ベースラインのBiGRU+CRFモデル（90.32%）よりも顕著に低い。これは、3層という浅いアーキテクチャが意味的特徴抽出を制限しているためである。
• ERNIEのエンティティレベルおよびフレーズレベルのマスキング戦略は、BERTと比較してわずかにパフォーマンスを低下させた可能性がある。これは、マスキング時の分割エラーに起因する可能性がある。
• RoBERTaの深さのあるアーキテクチャ（12層）と最適化された事前学習目的が、層数が少ないモデルや最適でない事前学習タスクを採用するモデルと比較して、NERのような系列ラベル付けタスクに有効であることが示された。