[論文レビュー] Graph Convolutional Networks for Named Entity Recognition

Alberto Cetoli, Stefano Bragaglia+2 more|arXiv (Cornell University)|Sep 28, 2017

Topic Modeling参考文献 18被引用数 37

ひとこと要約

この論文は、名前付きエンティティ認識（NER）の性能向上を図るために、依存木構造を活用した双方向GCN（グラフ畳み込みネットワーク）とBi-LSTMを統合したモデルを提案している。方向性を持つグラフを用いて、前方と後方の別々のGCN層で句単位の構文情報を伝搬することで、Bi-LSTMベースライン比でF1スコアが4.6%向上した。これは、構文構造を組み込むことで、豊富な特徴工学を必要とせずにNERの精度が著しく向上することを示している。

ABSTRACT

In this paper we investigate the role of the dependency tree in a named entity recognizer upon using a set of GCN. We perform a comparison among different NER architectures and show that the grammar of a sentence positively influences the results. Experiments on the ontonotes dataset demonstrate consistent performance improvements, without requiring heavy feature engineering nor additional language-specific knowledge.

研究の動機と目的

• 構文構造、特に依存木が名前付きエンティティ認識（NER）性能に与える影響を調査すること。
• NERのための有向依存グラフを処理できる、新しい双方向GCNアーキテクチャの設計と評価すること。
• グラフベースのモデリングが、Bi-LSTMのような標準的な系列モデルを上回るNER性能をもたらすかどうかを評価すること。
• GCNと組み合わせた際の品詞（PoS）タグと形態素特徴の貢献度を評価すること。
• GCNが、膨大な特徴工学を要せず、既存のNERアーキテクチャと効果的に統合可能であることを実証すること。

提案手法

• モデルは、入力エッジと出力エッジに別々に情報を伝搬させる2つの異なるGCN層を用いて、依存木を双方向に処理する双方向GCNアーキテクチャを採用している。
• 各GCN層は、隣接ノードの埋め込みを再帰的に集約し、ReLU活性化関数を適用する。その定義は以下の通りである：$\overleftarrow{h}_{v}^{k+1} = \mathrm{ReLU}\left(\sum_{u\in\mathcal{\overleftarrow{N}}(v)} \left(\overleftarrow{W}^{k}h_{u}^{k} + \overleftarrow{b}^{k}\right)\right)$ および $\overrightarrow{h}_{v}^{k+1} = \mathrm{ReLU}\left(\sum_{u\in\mathcal{\overrightarrow{N}}(v)} \left(\overrightarrow{W}^{k}h_{u}^{k} + \overrightarrow{b}^{k}\right)\right)$。
• 最終的なノード表現は、前方と後方のGCN層出力を連結することで得られる：$h_{v}^{N} = \overrightarrow{h}_{v}^{N} \oplus \overleftarrow{h}_{v}^{N}$。
• GCNはBi-LSTMエンコーダの上に積み重ねられ、単語埋め込みと品詞タグが入力特徴として与えられる。
• 系列ラベルの一貫性を保証するために、条件付き確率場（CRF）層を最終層として使用している。
• モデルは、Goldおよび予測された品詞タグを用いてOntoNotes 5.0データセットで学習され、12文字に切り詰めた形態素特徴も含んでいる。

実験結果

リサーチクエスチョン

• RQ1 GCNを用いて依存木構造を統合することで、標準的なBi-LSTMモデルに比べてNER性能が向上するか？
• RQ2 Goldまたは予測された品詞（PoS）タグの使用が、GCNベースのNERシステムの性能に与える影響はいかほどか？
• RQ3 形態素特徴をGCN畳み込み層と組み合わせた場合、どれほど貢献するか？
• RQ4 双方向GCNアーキテクチャは、NERのようなNLPタスクにおける有向構文グラフを効果的にモデル化できるか？
• RQ5 F1スコアおよび特徴源の変動に対する耐性という観点から、GCNベースのアプローチは最先端のNERシステムと比較してどうか？

主な発見

• Gold品詞タグを用いた場合、GCNを強化したモデルはBi-LSTMベースライン（81.7 ± 0.4）に比べてF1スコアが4.6%絶対値で向上し、86.3 ± 0.3を達成した。
• 推定品詞タグを用いた場合、F1スコアは3.2%向上し、構文解析の誤りに対しても頑健であることが示された。
• 100万単語のGloVe埋め込みを220万単語に増やしたことで、F1スコアが0.7%向上した。これは、より大きな単語ベクトルがわずかではあるが明確な利益をもたらすことを示している。
• 12文字に切り詰めた形態素特徴を追加したことで、ベースライン比でF1スコアが2.2%向上した。これは、GCN処理と相性が良いことを示している。
• 最良の設定（Bi-LSTM + GCN + Gold品詞タグ + 形態素特徴）ではF1スコアが84.6 ± 0.4を達成し、ChiuとNichols（2015）のモデルを1.7%上回った。
• 結果から、特に依存木を含む構文構造がNER性能の向上に顕著な役割を果たしており、非局所的な言語的依存関係を捉えるためにGCNが有効であることが裏付けられた。