[論文レビュー] Bidirectional LSTM-CRF Models for Sequence Tagging

Zhiheng Huang, Wei Xu|arXiv (Cornell University)|Aug 9, 2015

Natural Language Processing Techniques参考文献 23被引用数 3,279

ひとこと要約

本稿では、逐次タギングのための双方向LSTM-CRFモデルを提案する。このモデルは、過去および未来の文脈を捉えるために双方向LSTMネットワークを統合し、ラベルの依存関係をモデル化するための条件付きランダムフィールド（CRF）層を組み合わせる。このモデルは、品詞タギング（POS）、フレーズ抽出（chunking）、固有表現抽出（NER）の各タスクで最先端またはほぼ最先端の性能を達成しており、従来の手法と比較して単語埋め込みへの依存を低減するという点で頑健性を示している。

ABSTRACT

At the moment, the vast majority of Portuguese archives with an online presence use a software solution to manage their finding aids: e.g. Digitarq or Archeevo. Most of these finding aids are written in natural language without any annotation that would enable a machine to identify named entities, geographical locations or even some dates. That would allow the machine to create smart browsing tools on top of those record contents like entity linking and record linking. In this work we have created a set of datasets to train Machine Learning algorithms to find those named entities and geographical locations. After training several algorithms we tested them in several datasets and registered their precision and accuracy. These results enabled us to achieve some conclusions about what kind of precision we can achieve with this approach in this context and what to do with the results: do we have enough precision and accuracy to create toponymic and anthroponomic indexes for archival finding aids? Is this approach suitable in this context? These are some of the questions we intend to answer along this paper.

研究の動機と目的

• 品詞タギング（POS）、フレーズ抽出（chunking）、固有表現抽出（NER）などの逐次タギングタスクのための深層ニューラルネットワークモデルの開発と評価を行う。
• 双方向LSTMとCRF部の有効性がタギング精度を向上させるかどうかを調査する。
• 文脈的および順序的なモデリングを活用することで、事前学習済み単語埋め込みへの依存を低減する。
• 外部の言語的特徴がなくても良好に動作する、頑健な逐次タギングフレームワークを確立する。

提案手法

• 双方向長短記憶ネットワーク（BI-LSTM）と条件付きランダムフィールド（CRF）層を統合した双方向LSTM-CRF（BI-LSTM-CRF）モデルを提案する。
• 各トークンについて、順方向および逆方向の順序処理により、過去および未来の文脈を双方向LSTMで符号化する。
• LSTMの出力を上位にCRF層を適用し、ラベルの依存関係をモデル化し、グローバルに最適なタグ列を保証する。
• RNN部のバックプロパゲーションスルータイム（BPTT）とシーケンスレベル最適化のためのCRFデコードを組み合わせた共同学習手順を採用する。
• 単語埋め込みを入力特徴として用いるが、ランダムまたは最適化されていない埋め込みでも高い性能を示す。
• 標準LSTM、双方向LSTM、LSTM-CRF、BI-LSTM-CRFの複数のバリエーションを、複数のベンチマークデータセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 双方向LSTM-CRFモデルは、従来のCRFおよびLSTMベースのモデルよりも、逐次タギングベンチマークで優れた性能を示せるか？
• RQ2 BI-LSTM-CRFモデルは、事前学習済み単語埋め込みへの依存をどの程度低減できるか？
• RQ3 双方向コンテキストとCRFデコードの統合は、POS、chunking、NERの各タスクにおけるタギング精度をどのように向上させるか？
• RQ4 キーランゲージ的特徴（例：大文字小文字、接頭辞、接尾辞）が削除された場合、BI-LSTM-CRFモデルは頑健性を保てるか？

主な発見

• CoNLL2000のフレーズ抽出データセットにおいて、BI-LSTM-CRFモデルはF1スコア94.46を達成し、以前の最先端システムを上回った。
• CoNLL2003のNERデータセットでは、Senna埋め込みと地名帳特徴を用いてF1スコア90.10を達成し、Conv-CRFや他の先行モデルを上回った。
• 外部埋め込みを一切使用しない状況でも、CoNLL2003 NERでF1スコア84.74を達成し、高い頑健性を示した。
• モデルは単語埋め込みへの依存を低減した：Conv-CRFなどの先行モデルとは異なり、ランダム埋め込みを用いても高い精度を維持した。
• 外部データなしでPOSタスクにおいて97.55％の正確度を達成し、同条件で動作したすべての先行システムを上回った。
• すべてのタスクにおいて、LSTM、BI-LSTM、LSTM-CRFの各ベースラインバージョンを上回り、双方向コンテキストとCRFデコードの統合の有効性を確認した。