[論文レビュー] Chinese NER Using Lattice LSTM

Yue Zhang, Jie Yang|arXiv (Cornell University)|May 5, 2018

Topic Modeling参考文献 45被引用数 33

ひとこと要約

本稿では、中国語NERのためのラティス構造LSTM-CRFモデルを提案する。このモデルは、大規模な語彙から得られるすべての可能な語の境界を統合的に符号化することで、分かち書きの誤りを回避しながら、文字レベルと語レベルの情報を活用する。ゲート付き再帰ユニットを用いて関連する語と文字のパスを動的にルーティングすることで、複数のデータセットで最先端の性能を達成しており、文字ベースおよび語ベースのベースラインを上回っている。

ABSTRACT

We investigate a lattice-structured LSTM model for Chinese NER, which encodes a sequence of input characters as well as all potential words that match a lexicon. Compared with character-based methods, our model explicitly leverages word and word sequence information. Compared with word-based methods, lattice LSTM does not suffer from segmentation errors. Gated recurrent cells allow our model to choose the most relevant characters and words from a sentence for better NER results. Experiments on various datasets show that lattice LSTM outperforms both word-based and character-based LSTM baselines, achieving the best results.

研究の動機と目的

• 語ベースおよび文字ベースのアプローチの限界、特に分かち書き誤りの伝搬を解消すること。
• 文脈における固有表現の曖昧解消を向上させるために、明示的な語および語列の情報を活用すること。
• 事前分かち書き処理に依存せずに、語彙から導かれる語を順序付けタグ付けに統合するニューラルモデルを開発すること。
• ラティス構造LSTMが、文字レベルと語レベルの表現を効果的にバランスさせ、NER性能を向上させられることを示すこと。
• モデルが文の長さにかかわらず頑健であり、多様なドメインおよびデータセットで既存のベースラインを上回ることを示すこと。

提案手法

• 大規模かつ自動抽出された語彙に対して入力文を照合することで、すべての潜在的な語境界を含む語-文字ラティスを構築する。
• ゲート付き再帰ユニットを備えたラティス構造LSTMを用い、複数のパス（文字列および語列）から関連する情報を動的に選択・ルーティングする。
• 名前付きエンティティの境界と種別を統合的にラベルづけるために、ラティスLSTMをCRF層と統合する。
• NERデータ上でエンドツーエンドに学習させ、モデルがエンティティ認識に最も有益な語および文字列を選別する能力を学習させる。
• 大規模かつ自動的に分かち書きされたコーパスから得た事前学習済み語埋め込みを活用し、語彙を豊かにし、表現学習を向上させる。
• 短文および長文の両方に対してモデルを適用し、文の長さと複雑さの増加に対する頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 分かち書き処理に依存せずに、語と文字レベルの表現をラティス構造LSTMモデルが中国語NERで効果的に統合できるか。
• RQ2 文の長さやドメインが異なる状況下で、ラティスLSTMモデルは文字ベースおよび語ベースのベースラインと比べて、NER性能でどの程度優れているか。
• RQ3 語彙から関連する語を動的に選別できる能力が、固有表現の曖昧解消にどの程度寄与するか。
• RQ4 パイプライン式の分かち書き処理に依存するNERシステムと比較して、ラティス構造は分かち書き誤りの伝搬をどの程度軽減できるか。
• RQ5 語彙にノイズや関係のない語が含まれる場合、モデルはそれらを学習中に無視する能力を発揮できるか。

主な発見

• ラティスLSTMモデルは、OntoNotes、MSRA、Weibo、リsumeデータなど、評価されたすべてのデータセットで、文字ベースおよび語ベースのLSTM-CRFベースラインを顕著に上回った。
• OntoNotesのテストセットでは、最良の文字ベースベースラインに対して7.34%の誤差削減を達成し、複雑でオープンドメインな環境でも優れた性能を示した。
• MSRAデータセットでは、文字ベースベースラインに対して16.11%の誤差削減を達成し、ドメイン特化型NERタスクにおける有効性を裏付けた。
• 長文への対応において、word+char+bicharおよびchar+bichar+softwordベースラインと比較して、モデルはより高い頑健性を示し、長距離依存性や語の組み合わせの複雑さをより効果的に処理できることを示した。
• 事例研究では、ラティスモデルは「东莞台协」（東莞台湾協会）を組織として正しく識別したが、word+char+bicharおよびchar+bichar+softwordモデルは分かち書きの誤りや不自然な出力により失敗した。
• モデルの性能は語彙内でのマッチング名前付きエンティティの割合と相関しており、高品質な語彙が性能を向上させることを示唆しているが、モデルはトレーニング中にノイズのある語を無視する能力を学習できることも示した。