[論文レビュー] Application of a Hybrid Bi-LSTM-CRF model to the task of Russian Named Entity Recognition

Le Thi Ngoc Anh, Mikhail Arkhipov+1 more|arXiv (Cornell University)|Sep 27, 2017

Topic Modeling参考文献 11被引用数 9

ひとこと要約

本稿では、外部のFastText単語埋め込みを用いて強化されたハイブリッドBi-LSTM-CRFモデルを提案し、ロシア語 Named Entity Recognition (NER) において最先端の性能を達成した。モデルは双方向LSTMを用いて文脈的なシーケンスモデリングを実現し、CRFを用いてシーケンスレベルのタグ付けを最適化している。事前学習済みのLentaコーパス埋め込みを導入することで、3つのロシア語NERコーパスにおいて、精度が向上し、学習時間が短縮された。

ABSTRACT

Named Entity Recognition (NER) is one of the most common tasks of the natural language processing. The purpose of NER is to find and classify tokens in text documents into predefined categories called tags, such as person names, quantity expressions, percentage expressions, names of locations, organizations, as well as expression of time, currency and others. Although there is a number of approaches have been proposed for this task in Russian language, it still has a substantial potential for the better solutions. In this work, we studied several deep neural network models starting from vanilla Bi-directional Long Short-Term Memory (Bi-LSTM) then supplementing it with Conditional Random Fields (CRF) as well as highway networks and finally adding external word embeddings. All models were evaluated across three datasets: Gareev's dataset, Person-1000, FactRuEval-2016. We found that extension of Bi-LSTM model with CRF significantly increased the quality of predictions. Encoding input tokens with external word embeddings reduced training time and allowed to achieve state of the art for the Russian NER task.

研究の動機と目的

• ロシア語 Named Entity Recognition (NER) における深層ニューラルネットワークモデルの有効性を評価すること。
• CRF層の統合、ハイウェイネットワーク、および外部単語埋め込みの影響がロシア語NERの性能に及ぼす影響を調査すること。
• Gareevの、Persons-1000、FactRuEval-2016の3つのベンチマークロシア語NERコーパスを対象に、複数のモデルバージョンを比較すること。
• 事前学習済み埋め込みを用いたハイブリッドBi-LSTM-CRFアーキテクチャを用いて、ロシア語NERの最先端のベースラインを確立すること。

提案手法

• シーケンス内の各トークンについて、左右の文脈を符号化するために双方向LSTM（Bi-LSTM）ネットワークを採用した。
• ラベルの依存関係をモデル化し、シーケンスラベリングの精度を向上させるために、Bi-LSTMの上流に条件付きランダムフィールド（CRF）層を統合した。
• ロシア語の意味的表現を強化するために、Lentaコーパスで事前学習されたFastText単語埋め込みを用いた。
• ベースラインモデルに、文字レベルおよび単語レベルのハイウェイネットワークを追加することで、特徴学習とモデル表現力の向上を図った。
• 標準的な評価指標を用いて、Gareevの、Persons-1000、FactRuEval-2016の3つのロシア語NERコーパスを対象にモデルを学習・評価した。
• 共有された埋め込み層を用いた単語および文字レベルの埋め込みを適用し、過学習を防ぐためにドロップアウトを用いた。

実験結果

リサーチクエスチョン

• RQ1 Bi-LSTMモデルにCRF層を追加することで、ロシア語テキストにおけるNER性能が顕著に向上するか？
• RQ2 FastTextから得られる事前学習済み外部単語埋め込みは、ロシア語NERにおけるBi-LSTM-CRFモデルの性能と学習効率にどの程度寄与するか？
• RQ3 文字レベルおよび単語レベルのハイウェイネットワークは、ロシア語NERにおけるBi-LSTM-CRFアーキテクチャの性能にどのように影響を与えるか？
• RQ4 提案された外部埋め込みを用いたハイブリッドBi-LSTM-CRFモデルは、複数のロシア語NERベンチマークで最先端の結果を達成できるか？

主な発見

• Bi-LSTM + CRFモデルは、アンサンブルなしのBi-LSTMモデルを上回り、CRF層の統合がロシア語NERにおけるシーケンスラベリング精度を顕著に向上させることを示した。
• Lentaコーパスで事前学習されたFastText単語埋め込みの導入により、学習時間が短縮され、GareevのとPersons-1000コーパスで最先端の性能が達成された。
• Bi-LSTM + CRF + Lenta埋め込みモデルは、GareevのとPersons-1000コーパスで最高のF1スコアを記録し、以前に発表されたモデルを上回った。
• ハイウェイネットワークを組み込んだNeuroNERベースのモデルでは、結果が混合した：文字レベルのハイウェイネットワークはわずかに性能向上をもたらしたが、単語レベルおよび統合ネットワークでは性能が低下した。
• FactRuEval-2016コーパスでは、Bi-LSTM+CRF+LentaおよびNeuroNERモデルの両方が、以前のモデルを上回ったが、文献に報告されたSVMベースのシステムには及ばなかった。
• 本研究は、CRFを用いて単語および文字レベルのBi-LSTM表現を同時に学習させることで、従来の手作業による特徴工学よりも効果的であることを確認した。