[논문 리뷰] Graph Convolutional Networks for Named Entity Recognition

Alberto Cetoli, Stefano Bragaglia외 2명|arXiv (Cornell University)|2017. 09. 28.

Topic Modeling참고 문헌 18인용 수 37

한 줄 요약

이 논문은 의존성 트리 구조를 활용하여 성능을 향상시키는 양방향 그래프 컨볼루션 네트워크(GCN)와 Bi-LSTM을 통합한 Named Entity Recognition(NER)을 제안한다. 방향성 있는 그래프를 통해 별도의 정방향 및 역방향 GCN 레이어를 사용하여 문법 정보를 전파함으로써, Bi-LSTM 기준 대비 F1 점수 4.6% 향상을 달성하였다. 이는 문법적 구조가 풍부한 특징 공학 없이도 NER 정확도를 크게 향상시킬 수 있음을 보여준다.

ABSTRACT

In this paper we investigate the role of the dependency tree in a named entity recognizer upon using a set of GCN. We perform a comparison among different NER architectures and show that the grammar of a sentence positively influences the results. Experiments on the ontonotes dataset demonstrate consistent performance improvements, without requiring heavy feature engineering nor additional language-specific knowledge.

연구 동기 및 목표

• 의존성 트리와 같은 문법적 구조가 Named Entity Recognition(NER) 성능에 미치는 영향을 조사하는 것.
• NER를 위해 방향성 의존성 그래프를 처리할 수 있는 새로운 이중 GCN 아키텍처를 설계하고 평가하는 것.
• 기존의 순차 모델인 Bi-LSTM과 비교했을 때 그래프 기반 모델링이 NER 성능 향상에 기여하는지 평가하는 것.
• GCN와 함께 사용될 때 품사 태그(PoS)와 형태소적 특징이 기여하는 바를 평가하는 것.
• GCN가 기존 NER 아키텍처와 통합될 때 광범위한 특징 공학 없이도 효과적으로 활용될 수 있음을 보여주는 것.

제안 방법

• 모델은 들어오는 간선과 나가는 간선을 별도로 처리하기 위해 두 개의 서로 다른 GCN 레이어를 사용하는 이중 GCN 아키텍처를 사용한다.
• 각 GCN 레이어는 인접 노드 임베딩의 ReLU 활성화된 집합을 적용하며, 다음 식으로 정의된다: $\overleftarrow{h}_{v}^{k+1} = \mathrm{ReLU}\left(\sum_{u\in\mathcal{\overleftarrow{N}}(v)} \left(\overleftarrow{W}^{k}h_{u}^{k} + \overleftarrow{b}^{k}\right)\right)$ 및 $\overrightarrow{h}_{v}^{k+1} = \mathrm{ReLU}\left(\sum_{u\in\mathcal{\overrightarrow{N}}(v)} \left(\overrightarrow{W}^{k}h_{u}^{k} + \overrightarrow{b}^{k}\right)\right)$.
• 최종 노드 표현은 정방향 및 역방향 GCN 레이어 출력을 연결하여 형성된다: $h_{v}^{N} = \overrightarrow{h}_{v}^{N} \oplus \overleftarrow{h}_{v}^{N}$.
• GCN는 Bi-LSTM 인코더 위에 쌓이며, 단어 임베딩과 PoS 태그를 입력 특징으로 사용한다.
• 시퀀스 수준의 레이블 일관성을 확보하기 위해 최종 레이어로 조건부 랜덤 필드(CRF) 레이어를 사용한다.
• 모델은 OntoNotes 5.0 데이터셋에서 금속 PoS 태그와 예측된 PoS 태그를 모두 사용하여 훈련되며, 12자로 잘라낸 형태소적 특징이 포함되어 있다.

실험 결과

연구 질문

• RQ1 GCN를 통해 의존성 트리 구조를 통합할 경우, 표준 Bi-LSTM 모델 대비 NER 성능 향상이 이루어지는가?
• RQ2 금속 PoS 태그 또는 예측된 PoS 태그를 사용할 경우, GCN 기반 NER 시스템의 성능에 어떤 영향을 미치는가?
• RQ3 형태소적 특징이 GCN 컨볼루션 레이어와 함께 사용될 때 NER에서 얼마나 기여하는가?
• RQ4 이중 GCN 아키텍처는 NLP 작업(예: NER)에서 방향성 있는 문법적 그래프를 효과적으로 모델링할 수 있는가?
• RQ5 F1 점수와 특징 소스의 민감도 측면에서 GCN 기반 접근 방식은 최신 기술 수준의 NER 시스템과 비교해 어떻게 성능을 내는가?

주요 결과

• 금속 PoS 태그를 사용할 경우 GCN 향상 모델은 Bi-LSTM 기준 대비 F1 점수 4.6% 절대 향상(86.3 ± 0.3)을 달성하였다.
• 예측된 PoS 태그를 사용할 경우 F1 점수는 3.2% 향상되어 파싱 오류에 대한 강건성을 입증하였다.
• 1M 대비 2.2M GloVe 임베딩을 사용할 경우 F1 점수는 0.7% 향상되어 더 큰 단어 벡터의 약간의 그러나 측정 가능한 이점이 있음을 시사하였다.
• 12자로 잘라낸 형태소적 특징을 추가하면 기준 모델 대비 F1 점수는 2.2% 향상되었으며, GCN 처리와의 호환성이 있음을 보여주었다.
• 최고 성능을 낸 구성(비-리스트 + GCN + 금속 PoS + 형태소 특징)은 F1 점수 84.6 ± 0.4를 기록하여 Chiu와 Nichols(2015) 모델보다 1.7% 높은 성능을 보였다.
• 결과는 의존성 트리와 같은 문법적 구조가 NER 성능 향상에 중요한 역할을 하며, GCN가 국소적이지 않은 언어적 의존성을 효과적으로 포착할 수 있음을 확인하였다.