[논문 리뷰] Graph Convolution over Pruned Dependency Trees Improves Relation Extraction

Yuhao Zhang, Peng Qi외 1명|arXiv (Cornell University)|2018. 09. 26.

Topic Modeling인용 수 40

한 줄 요약

이 논문은 의존성 구조를 인코딩하기 위해 그래프 컨볼루션 네트워크를 확장하고, 경로 중심 가지치기 전략을 도입하며, TACRED에서 최첨단 성능과 트리 기반 모델 대비 상당한 속도 향상을 기록한다. BiLSTM으로의 맥락화가 성능을 더욱 높이고 시퀀스 모델과의 보완 강점을 보여준다.

ABSTRACT

Dependency trees help relation extraction models capture long-range relations between words. However, existing dependency-based models either neglect crucial information (e.g., negation) by pruning the dependency trees too aggressively, or are computationally inefficient because it is difficult to parallelize over different tree structures. We propose an extension of graph convolutional networks that is tailored for relation extraction, which pools information over arbitrary dependency structures efficiently in parallel. To incorporate relevant information while maximally removing irrelevant content, we further apply a novel pruning strategy to the input trees by keeping words immediately around the shortest path between the two entities among which a relation might hold. The resulting model achieves state-of-the-art performance on the large-scale TACRED dataset, outperforming existing sequence and dependency-based neural models. We also show through detailed analysis that this model has complementary strengths to sequence models, and combining them further improves the state of the art.

연구 동기 및 목표

• 의존성 트리를 활용하되 부정과 같은 중요한 정보를 잃지 않으면서 관계 추출의 동기 부여 및 개선.
• 임의의 의존 구조에서 정보를 효율적으로 풀링하는 GCN 기반 아키텍처를 개발한다.
• 경로 중심 가지치기를 도입하여 무관한 내용을 제거하면서 정보성이 있는 비경로 정보를 보존한다.
• GCN 처리 전에 BiLSTM을 통한 맥락화로 강건성을 향상시킨다.
• TACRED 및 SemEval에서 최첨단 결과를 입증하고 시퀀스 모델과의 보완적 강점을 분석한다.

제안 방법

• 자기루프와 정규화된 메시지 전달을 갖는 의존 그래프에서 작동하도록 그래프 합성 신경망(GCN)을 확장한다.
• GCN 층으로 문장을 인코딩하여 단어 표현을 얻고, 이를 문장으로 풀링한 뒤 엔터티 표현과 연결하여 분류한다.
• GCN 앞에 BiLSTM을 통과시켜 입력을 맥락화된 GCN(C-GCN)을 추가한다.
• 경로 중심 가지치기를 도입: 엔터티 사이의 최단 의존 경로로부터 거리 K 이내의 노드를 유지하며, K는 {0,1,2,∞}의 값이고 K=1이 최상의 성능을 얻는다.
• 성능 향상을 위해 GCN/C-GCN을 강력한 시퀀스 모델(PA-LSTM)과 확률 보간을 통해 선택적으로 결합한다.
• TACRED 및 SemEval 데이터셋에서 의존 기반 모델 및 시퀀스 모델과 비교하고 F1, 정밀도, 재현율을 보고한다.

실험 결과

연구 질문

• RQ1 의존성 트리에 대한 그래프 합성 접근법이 관계 추출에서 기존의 의존 기반 신경 모델보다 더 우수한 성능을 내는가?
• RQ2 가지치기를 통해 오프-경로 정보를 통합하면 필수 콘텐츠를 손실하지 않으면서 강건성 및 정확도가 향상되는가?
• RQ3 BiLSTM으로 GCN을 맥락화하는 것이 구문 분석 오류에 대한 강건성과 관계 추출 성능을 향상시키는가?
• RQ4 의존 기반 모델이 시퀀스 기반 모델과 보완적이며, 이들의 결합이 최첨단 성능을 낼 수 있는가?

주요 결과

모델	P	R	F1
LR	73.5	49.9	59.4
SDP-LSTM	66.3	52.7	58.7
Tree-LSTM	66.0	59.2	62.4
PA-LSTM	65.7	64.5	65.1
GCN	69.8	59.0	64.0
C-GCN	69.9	63.3	66.4
GCN + PA-LSTM	71.7	63.0	67.1
C-GCN + PA-LSTM	71.3	65.4	68.2

• GCN 기반 관계 추출은 TACRED 및 SemEval에서 기존의 의존 기반 신경 모델보다 우수하다.
• 맥락화된 GCN(C-GCN)이 GCN보다 TACRED 성능을 더 향상시키며 최첨단 결과를 달성한다.
• K=1인 경로 중심 가지치기가 최적의 균형을 제공하여 노이즈를 제거하면서 정보성 오프-경로 콘텐츠를 포함해 성능을 향상시킨다.
• GCN/C-GCN과 PA-LSTM의 결합은 각각의 모델보다 더 높은 F1을 얻어 보완적 강점을 보여준다.
• TACRED에서 GCN 및 C-GCN이 기반선보다 F1 향상을 달성하며, C-GCN은 단일에서 66.4, PA-LSTM 보간과 함께 68.2에 도달한다.
• SemEval에서 C-GCN은 with-m에서 84.8 F1, mask-m에서 76.5 F1를 달성하여 여러 의존 기반 모델을 능가한다.