[논문 리뷰] Contextualised Graph Attention for Improved Relation Extraction

Angrosh Mandya, Danushka Bollegala외 1명|arXiv (Cornell University)|2020. 04. 22.

Topic Modeling참고 문헌 23인용 수 5

한 줄 요약

이 논문은 의존 트리에서 파생된 다수의 서브그래프를 활용하고, 관계 유형과 실체 유형과 같은 간선 특징을 그래프 자기주의 네트워크(GATs)와 통합하여 관계 추출 성능을 향상시키는 컨텍스트 기반 그래프 자기주의 네트워크를 제안한다. 이 모델은 SemEval 2010 Task 8 벤치마크에서 SOTA 수준의 F1 스코어 86.3을 달성하였으며, 노드 표현 학습과 주의 집중을 향상시키기 위해 서브그래프를 분할하는 방식을 사용함으로써 이전의 그래프 기반 방법들을 능가한다.

ABSTRACT

This paper presents a contextualized graph attention network that combines edge features and multiple sub-graphs for improving relation extraction. A novel method is proposed to use multiple sub-graphs to learn rich node representations in graph-based networks. To this end multiple sub-graphs are obtained from a single dependency tree. Two types of edge features are proposed, which are effectively combined with GAT and GCN models to apply for relation extraction. The proposed model achieves state-of-the-art performance on Semeval 2010 Task 8 dataset, achieving an F1-score of 86.3.

연구 동기 및 목표

• 단일 대규모 그래프가 노이즈를 유발하고 모델의 집중력을 떨어뜨리는 한계를 해결함으로써 관계 추출 성능을 향상시키기 위해.
• 의존 구문 분석 트리와 대상 실체의 위치를 활용하여 집중적이고 맥락적으로 관련성이 높은 그래프 세그먼트를 생성하는 새로운 서브그래프 구축 방법을 개발하기 위해.
• 특히 의존 관계 유형과 실체 유형 정보와 같은 간선 특징을 GAT에 통합하여 주의 가중치 및 표현 학습을 향상시키기 위해.
• GCN 및 GAT 기반의 관계 추출 모델에서 다수의 서브그래프가 단일 그래프보다 우월함을 경험적으로 검증하기 위해.
• 관계 추출을 위한 SemEval 2010 Task 8 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하기 위해.

제안 방법

• 대상 실체 간 최단 의존 경로(SDP)를 따라 정점들을 선택하고, 이에 연결된 제1차 자식 정점들을 포함하여 단일 의존 트리에서 다수의 서브그래프를 추출한다.
• 대상 실체의 위치를 활용한 새로운 서브그래프 분할 전략을 통해 공동 학습을 위한 고유하고 맥락적으로 관련성이 높은 그래프 세그먼트를 정의한다.
• 두 가지 유형의 간선 특징을 도입한다: 의존 관계 유형(예: nsubj, dobj)과 실체 유형 쌍(예: person-organization)으로, 이는 노드 특징과 연결된다.
• GAT 모델은 이웃 노드 간의 주의 가중치를 계산하며, 간선 특징이 주의 메커니즘에 통합되어 관련성 추정을 향상시킨다.
• 각 실체의 최종 표현은 서브그래프 간 가중치를 학습 가능한 주의 메커니즘을 통해 다수의 서브그래프 표현을 집계함으로써 확보된다.
• SemEval 2010 데이터셋에서 조기 정지와 Adam 최적화를 사용하여 교차 엔트로피 손실을 기반으로 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 단일 의존 트리에서 유도된 다수의 서브그래프를 사용할 경우, 단일 대규모 그래프를 사용하는 것보다 관계 추출 성능이 향상되는가?
• RQ2 의존 관계 유형과 실체 유형 특징을 GAT 주의 메커니즘에 통합할 경우 관계 분류 성능이 향상되는가?
• RQ3 SemEval 2010 테스트 세트에서 다양한 스파니스 길이(단기, 중기, 장기)에 따라 제안된 모델의 성능은 어떻게 변하는가?
• RQ4 다수의 서브그래프를 사용함으로써 GCN 및 GAT 모델에서 노이즈가 많은 대규모 그래프가 초래하는 부정적 영향이 완화되는가?
• RQ5 관계 추출을 위한 최적의 그래프 크기(정점 깊이 기준)는 무엇이며, 이는 모델 성능에 어떻게 영향을 미치는가?

주요 결과

• 제안된 c+gat+mg+dref 모델은 SemEval 2010 Task 8 벤치마크에서 SOTA 수준의 F1 스코어 86.3을 달성하여 이전의 SOTA 모델을 초월한다.
• 모든 스팬 길이에서 다수의 서브그래프를 사용하는 모델이 단일 그래프 모델보다 일관되게 우수하며, 특히 단기 스팬에서 가장 높은 향상(10.8점 증가)을 보였다.
• 간선 특징(의존 관계 및 실체 유형)의 통합은 성능 향상에 크게 기여하였으며, 전체 모델(c+gat+mg+ctef+dref)은 F1 스코어 86.3을 기록하였다.
• 노드 간 거리가 제1차 자식 정점 범위를 초월할수록 성능이 저하됨을 확인하여, 먼 거리의 노드는 노이즈를 추가하고 모델의 효과성을 떨어뜨림을 시사한다.
• c+gat+mg+dref 모델은 C-AGGCN 모델(85.7 F1)과 C-GCN 모델(84.8 F1)을 모두 능가하며, 다중 서브그래프 접근 방식의 우수성을 확인한다.
• 간선 특징 없이 다수의 서브그래프를 사용하는 모델도 단일 그래프 모델보다 높은 F1 스코어를 기록하여, 서브그래프 분할 방식 자체의 본질적 이점이 있음을 입증한다.