[論文レビュー] Named Entity Recognition with stack residual LSTM and trainable bias decoding

Quan Tran, Andrew MacKinlay+1 more|arXiv (Cornell University)|Jun 23, 2017

Topic Modeling参考文献 30被引用数 36

ひとこと要約

この論文は、CoNLL-2003データセットにおける名前付きエンティティ認識（NER）の性能を向上させるために、学習可能なバイアスデコーディングを備えたスタックリサルエンティティLSTMアーキテクチャを提案する。深層RNNにおける劣化問題を緩和するためのリサルエンティティ接続を導入し、F-measureの最適化を可能にする微分可能バイアスデコーディングを用いることで、英語では91.69、スペイン語では86.00という最先端のF1スコアを達成し、標準的な訓練/検証/テスト分割において従来手法を上回った。

ABSTRACT

Recurrent Neural Network models are the state-of-the-art for Named Entity Recognition (NER). We present two innovations to improve the performance of these models. The first innovation is the introduction of residual connections between the Stacked Recurrent Neural Network model to address the degradation problem of deep neural networks. The second innovation is a bias decoding mechanism that allows the trained system to adapt to non-differentiable and externally computed objectives, such as the entity-based F-measure. Our work improves the state-of-the-art results for both Spanish and English languages on the standard train/development/test split of the CoNLL 2003 Shared Task NER dataset.

研究の動機と目的

• 深層スタックRNNを用いたNERで生じる劣化問題に対処するため、層間のリサルエンティティ接続を導入すること。
• エンティティベースのF-measureのような非微分可能指標を最適化可能にするために、学習可能なバイアスデコーディング機構を導入すること。
• 外部ラベル付きデータやドメイン特化特徴を用いずに、英語およびスペイン語のNER性能を向上させること。
• F-measure最適化の文脈において、言語モデル埋め込みを補助特徴として用いる効果を評価すること。

提案手法

• 深層RNNアーキテクチャにおける勾配伝播の改善とトレーニングの安定化を目的として、スタックされたLSTM層間にリサルエンティティ接続を導入する。
• 各単語の文字レベル埋め込みを生成するために、文字列列に対して双方向RNN（biRNN）を適用する。
• 単語埋め込みと文字レベルbiRNN出力を連結して、主なRNN-CRFモデルの入力特徴とする。
• 外部のF-measure評価に基づく有限差分勾配更新を用いて、最終的なCRF出力確率を調整する学習可能なバイアスデコーディング層を適用する。
• CoNLL-2003の評価スクリプトを用いてバイアスパラメータをトレーニングし、F1スコアを直接最適化する。
• 前向きおよび後向き言語モデルを追加の特徴として統合し、その埋め込みをモデルに供給して文脈表現を向上させる。

実験結果

リサーチクエスチョン

• RQ1 スタックされたRNNにおけるリサルエンティティ接続は、深層ネットワークの劣化問題を緩和することでNERタスクの性能向上に寄与するか？
• RQ2 主モデルを再トレーニングせずに、非微分可能F-measureを効果的に最適化できる微分可能バイアスデコーディング機構は存在するか？
• RQ3 バイアスデコーディングおよびリサルエンティティ接続と併用した場合、言語モデル埋め込みはNER性能にどのような影響を及ぼすか？
• RQ4 提案手法は、英語と比較して低リソース環境（スペイン語）においても一般化可能か？
• RQ5 トレーニングダイナミクスおよび勾配ノイズは、学習可能なバイアスデコーディングプロセスの収束性および安定性にどのような影響を及えるか？

主な発見

• 提案されたスタックリサルエンティティLSTMとバイアスデコーディングは、英語CoNLL-2003テストセットで91.69という新たな最先端F1スコアを達成し、以前の最先端結果を上回った。
• スペイン語ではF1スコアが86.00に達し、Lampleら（2016）が報告した以前の最先端の85.75を大きく上回った。
• 前向きおよび後向き言語モデルの追加により性能が向上し、英語のF1は91.69にまで上昇したが、スペイン語のF1はわずかに低下した。これは言語モデルの品質に依存する要因の影響を示唆している。
• 学習可能なバイアスデコーディング機構は、両言語において一貫して性能を向上させたが、その向上幅は比較的小さく、おそらくノイズの多い数値的勾配のためであると考えられる。
• 言語モデル埋め込みの効果は逆転しており、英語では性能向上に寄与したが、スペイン語では性能を低下させた。これは、英語の言語モデルのパープレキシティが低く、品質が優れているためと考えられる。
• バイアス値の分析から、精度や再現率に明確な傾向は認められず、従来のしきい値設定のように精度と再現率のトレードオフを単純にシフトするのではなく、より洗練された調整が行われていることが示された。