[論文レビュー] Beheshti-NER: Persian Named Entity Recognition Using BERT

Ehsan Taher, Seyed Abbas Hoseini+1 more|arXiv (Cornell University)|Mar 19, 2020

Topic Modeling参考文献 15被引用数 25

ひとこと要約

この論文では、ペルシャ語名前付きエンティティ認識（NER）のための、CRF層を備えたBERTベースのモデル、Beheshti-NERを提案する。ペルシャ語のNERで最先端の性能を達成し、NSURL-2019 NERコンテストで2位を獲得した。CONLL 2003評価方式を用いて、単語レベル評価で88.4%のF1、フレーズレベル評価で83.5%のF1を達成した。

ABSTRACT

Named entity recognition is a natural language processing task to recognize and extract spans of text associated with named entities and classify them in semantic Categories. Google BERT is a deep bidirectional language model, pre-trained on large corpora that can be fine-tuned to solve many NLP tasks such as question answering, named entity recognition, part of speech tagging and etc. In this paper, we use the pre-trained deep bidirectional network, BERT, to make a model for named entity recognition in Persian. We also compare the results of our model with the previous state of the art results achieved on Persian NER. Our evaluation metric is CONLL 2003 score in two levels of word and phrase. This model achieved second place in NSURL-2019 task 7 competition which associated with NER for the Persian language. our results in this competition are 83.5 and 88.4 f1 CONLL score respectively in phrase and word level evaluation.

研究の動機と目的

• ペルシャ語におけるリソースが限られた自然言語処理の課題に、名前付きエンティティ認識のための転移学習を活用して対処すること。
• 文脈に応じた埋め込みを用いた事前学習済みBERTアーキテクチャを活用することで、既存のペルシャ語NERモデルを改善すること。
• ペルシャ語のようなリソースが限られた言語において、BERTの微調整とCRFの組み合わせが効果的であることを示すこと。
• 転移学習アプローチを用いて、ペルシャ語のPeymaおよびArmanデータセットで最先端の結果を達成すること。

提案手法

• 大規模なペルシャ語コーパス上でマルチリンガルBERTモデルを微調整し、文脈に応じたトークン埋め込みを生成した。
• ラベルの依存関係をモデル化し、シーケンスラベリングの正確性を向上させるために、BERTに条件付きランドムフィールド（CRF）層を組み合わせた。
• 標準的なNERタグセットを用いて、PeymaおよびArmanデータセット上でエンドツーエンドのモデルを訓練した。
• 単語レベルおよびフレーズレベルのF1スコアの両方を、CONLL 2003評価指標で評価した。
• 事前学習済みBERT重みで初期化し、ラベル付きペルシャ語NERデータ上で微調整することで、転移学習を適用した。
• ドメイン内およびドメイン外のテストセットを用いて、モデルの汎化性能を評価する実験を実施した。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みBERTモデルをCRFで微調整することで、ラベル付きデータが限られた状況下でもペルシャ語NERで最先端の性能を達成できるか？
• RQ2 ペルシャ語NERベンチマークにおいて、BERT-CRFモデルは、双方向LSTMとCRFを組み合わせた従来の手法と比較してどのように性能を発揮するか？
• RQ3 ペルシャ語NERモデルにおいて、ドメイン内とドメイン外のテストセットの間で性能の差はどの程度か？
• RQ4 BERTによる転移学習は、ペルシャ語NERのようなリソースが限られた自然言語処理タスクにおいて、性能を顕著に向上させるか？
• RQ5 Peymaデータセットにおいて、異なるエンティティクラス（例：人物、場所、時間）がモデルの性能にどのように影響を与えるか？

主な発見

• Beheshti-NERモデルは、NSURL-2019 NERコンテストにおいて、単語レベル評価で88.4%のF1スコア、フレーズレベル評価で83.5%のF1スコアを達成した。
• モデルはコンテスト全体で2位を獲得し、Peymaデータセットにおいても、従来の最先端手法を上回った。
• 最も高いスコアを記録したクラスは「パーセント」で、フレーズレベルF1が91.6%であった。一方、「時間」は最も困難なクラスであり、F1は75.8%であった。
• モデルは優れた汎化性能を示し、ドメイン内評価で84.2%、ドメイン外評価で83.0%のフレーズレベルF1を達成した。
• BERT-CRFアーキテクチャは、双方向LSTMとCRFを組み合わせたベースラインモデルやルールベースのシステムを顕著に上回った。
• 結果から、事前学習済みBERTを微調整し、CRFデコードを適用するアプローチが、ペルシャ語におけるリソースが限られた自然言語処理タスクに非常に効果的であることが確認された。