[논문 리뷰] Graph based Neural Networks for Event Factuality Prediction using Syntactic and Semantic Structures

Amir Pouran Ben Veyseh, Thien Huu Nguyen외 1명|arXiv (Cornell University)|2019. 07. 07.

Topic Modeling참고 문헌 26인용 수 6

한 줄 요약

이 논문은 문법적 구조와 의미적 구조를 동시에 모델링하기 위해 그래프 기반 신경망을 제안한다. 이는 의존성 트리 기반의 문법적 유사도 행렬과 LSTM 기반의 의미적 유사도 행렬을 통합하기 위해 그래프 컨volution 네트워크(GCNs)를 사용한다. 이 모델은 다양한 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, MAE 및 상관관계 지표 모두에서 이전 방법들을 크게 능가한다.

ABSTRACT

Event factuality prediction (EFP) is the task of assessing the degree to which an event mentioned in a sentence has happened. For this task, both syntactic and semantic information are crucial to identify the important context words. The previous work for EFP has only combined these information in a simple way that cannot fully exploit their coordination. In this work, we introduce a novel graph-based neural network for EFP that can integrate the semantic and syntactic information more effectively. Our experiments demonstrate the advantage of the proposed model for EFP.

연구 동기 및 목표

• 통합된 딥 러닝 프레임워크 내에서 문법적 및 의미적 정보를 효과적으로 통합함으로써 이벤트 사실성 예측(EFP)을 향상시키는 것.
• 이전 모델들이 최종 레이어에서만 문법적 및 의미적 표현을 연결함으로써 노이즈를 증폭시키고 상호 보완적 상호작용을 놓칠 수 있는 한계를 해결하는 것.
• 문법적 및 의미적 구조 간의 조기 상호작용을 가능하게 하여 EFP를 위한 더 견고하고 정확한 표현을 생성하는 방법을 개발하는 것.
• 그래프 컨volution 네트워크(GCNs)가 EFP에서 장거리 의존성과 신호어 식별에 어떻게 기여하는지 입증하는 것.
• 다양한 벤치마크 데이터셋에서 모델을 평가하고 핵심 구성 요소를 추론하여 그 기여도를 검증하는 것.

제안 방법

• 모델은 의존성 트리에서 유도된 문법적 유사도 행렬을 구성하여, 문법적 의존성 기반으로 단어 간 연결을 표현한다.
• 문장의 양방향 LSTM 표현을 사용하여 의미적 유사도 행렬을 생성함으로써, 맥락적 및 의미적 관계를 캡처한다.
• 이 두 가지 유사도 행렬은 학습 가능한 초수인 λ를 사용하여 선형 조합되어 GCN 전파를 위한 풍부한 유사도 행렬을 형성한다.
• 그래프 컨volution 네트워크(GCNs)는 풍부한 그래프를 통해 표현을 전파하며, 각 단어가 자신의 문법적 및 의미적 이웃으로부터 정보를 집계할 수 있도록 한다.
• 최종 표현은 풀링되어 회귀 헤드를 거쳐 [-3, +3] 범위의 실수값 사실성 점수를 예측한다.
• 모델은 평균 절대 오차(MAE) 손실을 사용하여 엔드 투 엔드로 훈련되며, MAE 및 피어슨 상관계수(r)를 사용해 평가된다.

실험 결과

연구 질문

• RQ1 최종 연결이 아닌 조기 상호작용을 통해 문법적 및 의미적 구조 간의 통합이 사실성 예측 성능을 향상시킬 수 있는가?
• RQ2 의존성 트리 구조와 LSTM 기반 의미 표현의 통합은 장거리 신호어를 효과적으로 포착하는 데 얼마나 유용한가?
• RQ3 EFP에서 문법적 구조와 의미적 구조가 개별적으로나 함께 기여하는 바는 어떠한가?
• RQ4 제안된 GCN 기반 프레임워크는 표준 EFP 벤치마크에서 기존 최신 기술 수준 모델을 능가하는가?
• RQ5 예측 헤드에 BERT 임베딩과 어텐션 메커니즘이 성능에 미치는 영향은 어떠한가?

주요 결과

• 제안된 모델은 FactBank, UW, Meantime, UDS-IH2 데이터셋에서 최신 기술 수준 성능을 달성하였으며, FactBank에서 MAE 0.310, 상관계수 0.903을 기록했다.
• FactBank, UW, Meantime의 결합 데이터로 훈련한 모델은 UDS-IH2에서 MAE 0.204, 상관계수 0.702를 기록하여 이전 모든 모델을 능가했다.
• 절단 실험 결과, 문법적 또는 의미적 구조를 제거할 경우 성능 저하가 발생했으며, 둘 다 제거했을 때 가장 큰 하락이 나타났다(MAE: 0.352, r: 0.821).
• 예측 헤드에 BERT 임베딩과 어텐션 메커니즘을 포함시킴으로써 성능 향상이 뚜렷하게 나타났으며, 절단 실험 결과에서 이는 명확히 확인되었다(예: 어 attention 유무에 따른 MAE: 0.312 vs. 0.310).
• UDS-IH2에서 λ=0.8일 때 모델이 최고의 성능을 기록하여, 문법적 및 의미적 정보 간 최적의 균형을 이루고 있음을 시사한다.
• BERT를 통한 강화를 받은 Rudinger 등(2018)의 현재 SOTA 모델조차도, 제안된 통합 메커니즘이 열등하지 않음을 입증하며, 본 연구의 우수성을 입증한다.