[논문 리뷰] Reasoning Over Semantic-Level Graph for Fact Checking

Wanjun Zhong, Jingjing Xu외 6명|arXiv (Cornell University)|2019. 09. 09.

Topic Modeling참고 문헌 35인용 수 19

한 줄 요약

이 논문은 사실 확인을 위한 그래프 기반 추론 프레임워크를 제안한다. 이 프레임워크는 의미역할표기(SRL)를 사용해 근거 문장들로부터 의미 수준의 그래프를 구축하고, 사전에 훈련된 모델들인 XLNet 내부에서 그래프 구조적 표현을 활용하여 주장 검증을 향상시킨다. 단어 간 거리를 재정의하고 그래프 컨volution 및 주의 메커니즘을 적용함으로써, FEVER 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 이전 방법들보다 주장 검증 정확도와 FEVER 점수 모두에서 뛰어난 성능을 보였다.

ABSTRACT

Fact checking is a challenging task because verifying the truthfulness of a claim requires reasoning about multiple retrievable evidence. In this work, we present a method suitable for reasoning about the semantic-level structure of evidence. Unlike most previous works, which typically represent evidence sentences with either string concatenation or fusing the features of isolated evidence sentences, our approach operates on rich semantic structures of evidence obtained by semantic role labeling. We propose two mechanisms to exploit the structure of evidence while leveraging the advances of pre-trained models like BERT, GPT or XLNet. Specifically, using XLNet as the backbone, we first utilize the graph structure to re-define the relative distances of words, with the intuition that semantically related words should have short distances. Then, we adopt graph convolutional network and graph attention network to propagate and aggregate information from neighboring nodes on the graph. We evaluate our system on FEVER, a benchmark dataset for fact checking, and find that rich structural information is helpful and both our graph-based mechanisms improve the accuracy. Our model is the state-of-the-art system in terms of both official evaluation metrics, namely claim verification accuracy and FEVER score.

연구 동기 및 목표

• 다수의 근거 문장들 사이의 풍부한 의미적 구조를 포착하지 못하는 기존 사실 확인 방법의 한계를 해결하기 위해.
• 근거 문장들 내의 주장 간 의미 관계를 구조적 그래프로 모델링하여 주장 검증을 향상시키기 위해.
• 강력한 사전에 훈련된 언어 모델들인 XLNet과 같은 모델들과 그래프 기반 추론을 통합하여 더 향상된 문맥 표현 학습을 가능하게 하기 위해.
• SRL에서 유도된 그래프로부터의 구조적 정보가 벤치마크 데이터셋에서 사실 확인 성능을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 의미역할표기(SRL)를 사용해 각 근거 문장에 대해 의미 수준의 그래프를 구축하며, 이때 주장과 그에 해당하는 술어가 노드로, 관계가 간선으로 구성된다.
• 그래프의 위상 기반으로 XLNet 내 상대적 위치 인코딩을 재정의하여 의미적으로 관련된 단어들이 짧은 효과적 거리를 가지도록 보장한다.
• 의미 그래프 내 연결된 노드들 간에 표현을 전파하고 집계하기 위해 그래프 컨volution 네트워크(GCN)를 적용한다.
• 표현 학습 중 인접 노드의 중요도를 동적으로 가중치를 부여하기 위해 그래프 주의 네트워크(GAT)를 통합한다.
• XLNet로부터의 문맥 기반 단어 임베딩과 그래프 강화 표현을 결합하여 풍부한 문장 수준의 표현을 생성한다.
• 최종적으로 강화된 표현을 사용해 '지지됨', '반박됨', 또는 '정보 부족'으로 끝내는 주장 분류를 수행한다.

실험 결과

연구 질문

• RQ1 SRL을 통해 근거 문장의 의미적 구조를 모델링하는 것이 문자열 연결 또는 특징 융합 방식에 비해 사실 확인 성능 향상에 기여하는가?
• RQ2 XLNet과 같은 사전에 훈련된 모델에 그래프 기반 상대적 거리를 통합할 경우, 사실 확인을 위한 문맥 표현 학습에 어떤 영향을 미치는가?
• RQ3 그래프 컨볼루션 및 그래프 주의 메커니즘이 주장 검증에서 근거 그래프에 대한 추론을 얼마나 향상시키는가?
• RQ4 사전에 훈련된 언어 모델과 그래프 구조적 추론을 통합할 경우, FEVER 벤치마크에서 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• 제안된 그래프 기반 추론 방식은 FEVER 벤치마크에서 최신 기술 수준 성능을 달성하여 이전 방법들보다 주장 검증 정확도와 FEVER 점수 모두에서 뛰어난 성능을 보였다.
• 제거 실험을 통해 그래프 기반 모듈인 그래프 인식 상대 거리와 그래프 전파 기능이 성능 향상에 기여한다는 것이 확인되었다.
• SRL을 활용한 의미 그래프 생성이 복잡한 추론 체인(예: 여러 근거 문장들 사이에서 '로스앤젤레스 카운티'를 '미국에서 가장 많은 인구를 가진 카운티'로 연결하는 등)을 포착하는 데 기여한다.
• 구조적 추론을 활용함으로써 오락적 근거(예: 2014년 필리핀 영화)로 인해 잘못된 예측이 유도될 수 있는 경우에도 모델이 성공적으로 이를 해결한다.
• 사례 연구를 통해 XLNet과 그래프 구조의 통합이 다단계 근거에 대한 추론 능력을 크게 향상시킨다는 것이 입증되었다.
• 제출 당시 공개된 FEVER 랭킹에서 최고 성능을 기록한 시스템으로서, 그래프 기반 표현 학습이 사실 확인 분야에서 효과적이라는 것이 검증되었다.