[論文レビュー] GRN: Gated Relation Network to Enhance Convolutional Neural Network for Named Entity Recognition

Hui Chen, Zijia Lin+4 more|arXiv (Cornell University)|Jul 12, 2019

Topic Modeling参考文献 36被引用数 10

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）に基づくアーキテクチャであるゲート付き関係ネットワーク（GRN）を提案する。GRNは、ゲート付き融合機構を用いて単語間の関係をモデル化することで、並列計算が可能となり、長距離の文脈を効果的に捉える。GRNは、外部知識を用いない場合のCoNLL-2003でF1スコア91.44、ELMoを用いる場合で92.34を達成し、Ontonotes 5.0では87.67を記録する。BiLSTM-CRFベースラインと比較して、学習および推論時間が短縮されている。

ABSTRACT

The dominant approaches for named entity recognition (NER) mostly adopt complex recurrent neural networks (RNN), e.g., long-short-term-memory (LSTM). However, RNNs are limited by their recurrent nature in terms of computational efficiency. In contrast, convolutional neural networks (CNN) can fully exploit the GPU parallelism with their feedforward architectures. However, little attention has been paid to performing NER with CNNs, mainly owing to their difficulties in capturing the long-term context information in a sequence. In this paper, we propose a simple but effective CNN-based network for NER, i.e., gated relation network (GRN), which is more capable than common CNNs in capturing long-term context. Specifically, in GRN we firstly employ CNNs to explore the local context features of each word. Then we model the relations between words and use them as gates to fuse local context features into global ones for predicting labels. Without using recurrent layers that process a sentence in a sequential manner, our GRN allows computations to be performed in parallel across the entire sentence. Experiments on two benchmark NER datasets (i.e., CoNLL2003 and Ontonotes 5.0) show that, our proposed GRN can achieve state-of-the-art performance with or without external knowledge. It also enjoys lower time costs to train and test.We have made the code publicly available at https://github.com/HuiChen24/NER-GRN.

研究の動機と目的

• 再帰的ニューラルネットワーク（RNN）の逐次的計算による命名エンティティ認識（NER）における非効率性、特にGPUの並列処理を制限する点を解決すること。
• 畳み込みニューラルネットワーク（CNN）が系列の長距離依存関係を捉える能力を向上させること、これはNERにおける性能を妨げる主な制限要因である。
• BiLSTM-CRFモデルと同等またはそれを上回る性能を達成するCNNベースのNERモデルを開発し、完全な並列化により、より高速な学習および推論を実現すること。
• すべての単語ペア間の関係をモデル化する新規なゲート付き関係層を導入すること。

提案手法

• モデルは4層構造を採用する：表現層（単語および文字埋め込み）、コンテキスト層（複数のカーネルサイズを用いたCNNによる局所的特徴抽出）、関係層（すべての単語ペア間のゲート付き関係モデリング）、および系列ラベル付けのためのCRF層。
• 関係層では、各単語のグローバル表現が、文内の他のすべての単語との関係を学習可能なゲーティング機構を用いてモデル化することで計算される。
• ゲーティング機構は、各単語の局所的コンテキストがグローバル表現にどの程度寄与するかを動的に制御し、効果的な長距離依存関係のモデル化を可能にする。
• ラベルの一貫性を保つために、CRFを損失関数として用いてエンドツーエンドで学習される。
• 再帰層を完全に回避することで、文全体にわたる計算をすべて並列に実行可能となる。
• 関係層ではL2正規化されたアテンション重みを用い、長距離の単語依存関係を可視化・解釈可能にする。

実験結果

リサーチクエスチョン

• RQ1 RNNアーキテクチャに依存せずに、CNNベースのモデルがNERでSOTA性能を達成できるか？
• RQ2 ゲート付き関係機構が、標準的なCNNの受容野を超えて系列内の長距離依存関係を効果的にモデル化できるか？
• RQ3 提案されたGRNモデルが、BiLSTM-CRFベースラインと比較して、精度を維持または向上させつつ、より高速な学習および推論時間を達成できるか？
• RQ4 直接連結やゲート付きアテンションといった代替の統合機構と比較して、提案されたゲート付き関係層は性能および効率性において優れているか？

主な発見

• CoNLL-2003で外部知識なしのF1スコア91.44を達成し、以前のCNNベースのモデルを上回り、多くのBiLSTM-CRFモデルと同等またはそれを上回る性能を示した。
• ELMo埋め込みを用いることで、CoNLL-2003でF1スコア92.34を達成し、事前学習済みコンテキスト埋め込みと高い相性を示した。
• Ontonotes 5.0ではF1スコア87.67を記録し、このベンチマークでCNNベースのモデルとしてSOTA性能を確立した。
• CoNLL-2003において、CNN-BiLSTM-CRFベースラインと比較して、学習速度が1.16倍、推論速度が1.19倍向上し、計算上の効率性が向上していることを示した。
• 短い文（例：CoNLL-2003、平均長さ約14）では関係層の計算コストが低いため、速度向上がより顕著に現れた。一方、長い文（例：Ontonotes 5.0、平均長さ約18）では速度向上がやや小さい。
• 関係層の可視化により、非隣接のエンティティ語（例：'Sun'と'Sidek'）間に強いゲーティング重みが観察された。これは、モデルがCNNの受容域を超えて長距離依存関係を捉えられることを確認した。