[논문 리뷰] Encoding Sentences with Graph Convolutional Networks for Semantic Role Labeling

Diego Marcheggiani, Ivan Titov|arXiv (Cornell University)|2017. 03. 14.

Topic Modeling참고 문헌 39인용 수 29

한 줄 요약

이 논문은 의미 역할 추론(SRL) 성능을 햖थ하기 위해 문법적 의존성 그래프에 특화된 새로운 그래프 컬러션 네트워크(GCN) 아키텍처를 제안한다. 양방향 LSTM 위에 GCN 레이어를 스태킹하여 순차적 구조와 문법적 구조를 동시에 포착하는 모델로, CoNLL-2009에서 영어 및 중국어 모두에서 최신 기준 성능을 달성하였으며, 앙상블 방법을 사용해 도메인 외 테스트 세트에서 78.9 F1 스코어를 기록하였다.

ABSTRACT

Semantic role labeling (SRL) is the task of identifying the predicate-argument structure of a sentence. It is typically regarded as an important step in the standard NLP pipeline. As the semantic representations are closely related to syntactic ones, we exploit syntactic information in our model. We propose a version of graph convolutional networks (GCNs), a recent class of neural networks operating on graphs, suited to model syntactic dependency graphs. GCNs over syntactic dependency trees are used as sentence encoders, producing latent feature representations of words in a sentence. We observe that GCN layers are complementary to LSTM ones: when we stack both GCN and LSTM layers, we obtain a substantial improvement over an already state-of-the-art LSTM SRL model, resulting in the best reported scores on the standard benchmark (CoNLL-2009) both for Chinese and English.

연구 동기 및 목표

• 재귀 네트워크가 단어 수준에서 문법적 구조를 효과적으로 통합하는 데에 한계가 있음을 해결하기 위해.
• 그래프 컬러션 네트워크(GCN)가 자연어 처리(NLP) 작업에서 문법적 의존성 그래프를 효과적으로 적응시킬 수 있음을 보여주기 위해.
• GCN과 양방향 LSTMs를 결합하여 상호 보완적인 모델링 능력을 활용함으로써 의미 역할 추론 성능을 향상시키기 위해.
• GCN 기반의 문법적 구조 인코딩이 노이즈가 있는 파싱 조건에서도 강건한 성능을 보임을 보여주기 위해.
• 언어학적 그래프 구조를 신경 시퀀스 모델에 통합하는 일반적인 프레임워크를 구축하기 위해.

제안 방법

• 라벨이 부여된 방향성 있는 의존성 그래프를 위해 설계된 수정된 GCN 변종을 제안하여, 문법 트리 위에서 메시지 전파를 가능하게 한다.
• 다중 레이어 GCN을 사용해 K-호프 이웃 내의 노드들로부터 정보를 집계함으로써 더 rich한 문법적 맥락을 포착한다.
• 양방향 LSTM 레이어 위에 GCN 레이어를 스태킹하여 순차적 및 문법적 종속성을 함께 모델링한다.
• 자기 순환과 간선 별 특징을 포함하는 정규화된 그래프 컬러션 연산을 사용하여 문법적 관계를 모델링한다.
• GCN와 LSTM 레이어 간의 게이팅 메커니즘을 적용하여 정보 흐름을 동적으로 제어한다.
• CRF 디코딩을 사용해 공동으로 분류자 예측을 수행하는 교차 엔트로피 손실을 사용해 엔드 투 엔드 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 그래프 컬러션 네트워크(GCN)가 자연어 처리 작업에서 문법적 의존성 구조를 효과적으로 적응시킬 수 있는가?
• RQ2 GCN와 LSTMs를 결합하면, 개별적으로 사용할 때보다 의미 역할 추론 성능을 향상시킬 수 있는가?
• RQ3 특히 도메인 외 데이터에서, GCN 기반 SRL 모델이 문법적 파싱 오류에 얼마나 강건한가?
• RQ4 재귀 네트워크가 문장 의미를 모델링할 때, GCN가 상호 보완적인 인덕티브 바이어스를 제공할 수 있는가?
• RQ5 제안된 GCN 아키텍처가 언어학적 그래프 구조를 포함하는 다른 NLP 작업에 일반화 가능한가?

주요 결과

• GCN-LSTM 앙상블 모델은 CoNLL-2009 도메인 외 테스트 세트에서 78.9 F1 스코어를 기록하며 새로운 최신 기준 성능을 달성하였다. 이는 이전의 구조 인식 모델을 뛰어넘었다.
• 강력한 LSTM 전용 SRL 기반 모델에 비해 성능 향상을 보이며, GCN와 LSTMs가 상호 보완적인 모델링 능력을 가짐을 입증하였다.
• 노이즈가 있는 문법적 파싱 조건에서도 GCN 기반 모델이 강력한 성능을 유지함으로써, 파싱 오류에 대한 강건성을 입증하였다.
• CRF에 문법적 특징을 적용하거나 텐서 기반 방법을 사용한 이전의 구조 인식 접근 방식보다도 성능이 뛰어났다.
• 제거 실험 결과, GCN 레이어가 LSTMs 위에 스태킹될 경우, 특히 장거리 문법적 종속성을 포착하는 데에 있어 성능 향상에 기여한다는 것이 확인되었다.
• 결과적으로 GCN가 SRL을 넘어서 신경 기반 NLP 모델에서 언어학적 구조를 인코딩하는 일반적인 도구가 될 수 있음을 시사한다.