[논문 리뷰] GRN: Gated Relation Network to Enhance Convolutional Neural Network for Named Entity Recognition

Hui Chen, Zijia Lin외 4명|arXiv (Cornell University)|2019. 07. 12.

Topic Modeling참고 문헌 36인용 수 10

한 줄 요약

이 논문은 Gated Relation Network(GRN)을 제안하며, 이는 게이팅 퓨전 메커니즘을 통해 상호 단어 간 관계를 모델링함으로써 이름 붙인 실체 인식(NER)을 향상시키는 CNN 기반 아키텍처이다. 이는 병렬 계산을 가능하게 하고 장거리 컨텍스트를 개선한다. GRN은 CoNLL-2003(외부 지식 없이 91.44, ELMo 사용 시 92.34)과 Ontonotes 5.0(87.67)에서 최신 기술 수준의 F1 스코어를 달성하였으며, BiLSTM-CRF 기준 모델 대비 학습 및 추론 시간을 단축시켰다.

ABSTRACT

The dominant approaches for named entity recognition (NER) mostly adopt complex recurrent neural networks (RNN), e.g., long-short-term-memory (LSTM). However, RNNs are limited by their recurrent nature in terms of computational efficiency. In contrast, convolutional neural networks (CNN) can fully exploit the GPU parallelism with their feedforward architectures. However, little attention has been paid to performing NER with CNNs, mainly owing to their difficulties in capturing the long-term context information in a sequence. In this paper, we propose a simple but effective CNN-based network for NER, i.e., gated relation network (GRN), which is more capable than common CNNs in capturing long-term context. Specifically, in GRN we firstly employ CNNs to explore the local context features of each word. Then we model the relations between words and use them as gates to fuse local context features into global ones for predicting labels. Without using recurrent layers that process a sentence in a sequential manner, our GRN allows computations to be performed in parallel across the entire sentence. Experiments on two benchmark NER datasets (i.e., CoNLL2003 and Ontonotes 5.0) show that, our proposed GRN can achieve state-of-the-art performance with or without external knowledge. It also enjoys lower time costs to train and test.We have made the code publicly available at https://github.com/HuiChen24/NER-GRN.

연구 동기 및 목표

• 순차적 계산으로 인해 GPU 병렬 처리가 제한되는 순환 신경망(RNN)의 효율성 문제를 해결하기 위해.
• 시퀀스에서 장거리 의존성을 포착하는 데에 한계가 있는 컨volutional 신경망(CNN)의 능력을 향상시키기 위해.
• 완전한 병렬 처리를 통해 BiLSTM-CRF 모델에 맞추거나 초월하는 성능을 내는 CNN 기반 NER 모델을 개발하기 위해.
• 모든 단어 쌍 간의 관계를 모델링하고 가중치를 학습시켜 국소 특징을 글로벌 표현으로 융합하는 새로운 게이팅 관계 레이어를 도입하기 위해.

제안 방법

• 모델은 네 레이어 아키텍처를 사용한다: 표현 레이어(단어 및 문자 임베딩), 컨텍스트 레이어(CNN, 다중 커널 크기를 사용해 국소 특징 추출), 관계 레이어(모든 단어 쌍 간의 게이팅 관계 모델링), CRF 레이어(시퀀스 레이블링).
• 관계 레이어에서 각 단어의 글로벌 표현은 문장 내 다른 모든 단어와의 관계를 학습 가능한 게이팅 메커니즘을 사용해 모델링함으로써 계산된다.
• 게이팅 메커니즘은 각 단어의 국소 컨텍스트가 글로벌 표현에 얼마나 기여할지 동적으로 제어하여 효과적인 장거리 의존성 모델링을 가능하게 한다.
• 모델은 시퀀스 간 레이블 일관성을 유지하기 위해 CRF를 손실 함수로 사용하여 엔드 투 엔드로 훈련된다.
• 모델은 순환 레이어를 완전히 회피하여 문장 전체에 걸쳐 모든 계산을 병렬로 수행할 수 있다.
• 관계 레이어는 L2 정규화된 어텐션 가중치를 사용하여 장거리 단어 간 의존성을 시각화하고 해석 가능하게 한다.

실험 결과

연구 질문

• RQ1 RNN 아키텍처에 의존하지 않고도 CNN 기반 모델이 NER에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 게이팅 관계 메커니즘이 표준 CNN의 수용장역을 초월해 장거리 의존성을 효과적으로 모델링할 수 있는가?
• RQ3 제안된 GRN 모델이 정확도를 유지하거나 향상시키면서도 BiLSTM-CRF 기준 모델 대비 더 빠른 학습 및 추론 시간을 확보할 수 있는가?
• RQ4 직접 연결 또는 게이팅 어텐션과 같은 대안적 융합 메커니즘에 비해 제안된 게이팅 관계 레이어는 성능 및 효율성 측면에서 어떻게 비교되는가?

주요 결과

• GRN은 외부 지식 없이 CoNLL-2003에서 F1 스코어 91.44를 기록하여 이전의 CNN 기반 모델을 능가하고 많은 BiLSTM-CRF 모델과 동등하거나 초월한다.
• ELMo 임베딩을 사용할 경우, GRN은 CoNLL-2003에서 F1 스코어 92.34를 달성하여 사전 학습된 컨텍스트 임베딩과의 강력한 호환성을 보여준다.
• Ontonotes 5.0에서 GRN은 F1 스코어 87.67을 기록하여 이 벤치마크에서 CNN 기반 모델의 최신 기술 수준을 확립한다.
• CoNLL-2003에서 GRN은 CNN-BiLSTM-CRF 기준 모델 대비 학습 속도 1.16배, 테스트 속도 1.19배 향상시켜 계산 효율성 향상을 입증한다.
• 짧은 문장(예: CoNLL-2003, 평균 길이 ~14)에서는 관계 레이어 계산 비용이 감소하여 속도 향상이 더 두드러지며, 더 긴 문장(예: OntoNotes 5.0, 평균 길이 ~18)에서는 그 정도가 낮아진다.
• 관계 레이어의 시각화 결과, 인접하지 않은 실체 단어 간(예: 'Sun'과 'Sidek') 강력한 게이팅 가중치가 관찰되어, 모델이 표준 CNN의 수용장역을 초월한 장거리 의존성을 효과적으로 포착함을 확인한다.