[논문 리뷰] Graph Sequential Network for Reasoning over Sequences

Ming Tu, Jing Huang외 2명|arXiv (Cornell University)|2020. 04. 04.

Topic Modeling참고 문헌 30인용 수 4

한 줄 요약

이 논문은 공통 어휘주의 메시지 전파를 통해 일련의 노드 특징에 직접 메시지 전파를 수행하는 새로운 GNN 변종인 그래프 순차 네트워크(GSN)를 제안한다. 이는 초기 요약으로 인한 정보 손실을 방지한다. GSN은 순차적 레이블링을 가능하게 하고, 순차 기반 그래프에서의 추론 성능을 향상시킨다. FEVER와 HotpotQA에서 표준 GNN보다 각각 FEVER 점수 1.29%p 향상, 정확도 1.19%p 향상된 성능을 기록한다.

ABSTRACT

Recently Graph Neural Network (GNN) has been applied successfully to various NLP tasks that require reasoning, such as multi-hop machine reading comprehension. In this paper, we consider a novel case where reasoning is needed over graphs built from sequences, i.e. graph nodes with sequence data. Existing GNN models fulfill this goal by first summarizing the node sequences into fixed-dimensional vectors, then applying GNN on these vectors. To avoid information loss inherent in the early summarization and make sequential labeling tasks on GNN output feasible, we propose a new type of GNN called Graph Sequential Network (GSN), which features a new message passing algorithm based on co-attention between a node and each of its neighbors. We validate the proposed GSN on two NLP tasks: interpretable multi-hop reading comprehension on HotpotQA and graph based fact verification on FEVER. Both tasks require reasoning over multiple documents or sentences. Our experimental results show that the proposed GSN attains better performance than the standard GNN based methods.

연구 동기 및 목표

• NLP 작업에서 순차적 노드 특징을 처리할 때 GNN에서 초기 요약으로 인한 정보 손실 문제를 해결하기 위해.
• 노드 출력에서 순차적 레이블링 작업을 가능하게 하기 위해 순서 수준의 표현을 유지하기 위해.
• 다중 텍스트 시퀀스에서 구성된 그래프에서의 다단계 추론을 향상시키기 위해, 예를 들어 독해력 및 사실 검증과 같은 작업에서.
• 연결된 노드 간의 순서 간 동적 어휘주의를 수행하는 메시지 전파 메커니즘을 개발하기 위해.
• 다중 문서 추론이 필요한 추론 중심 NLP 작업에서 모델의 성능을 검증하기 위해.

제안 방법

• GSN은 전통적인 벡터 기반 집합 방식을 대체하여, 노드와 각 이웃 간에 공통 어휘주의 기반 메시지 전파 메커니즘을 도입한다.
• 공통 어휘주의 메커니즘은 현재 노드의 토큰과 이웃의 순서 간에 어휘주의 가중치를 계산하여 맥락 인식 특징 전파를 가능하게 한다.
• 어휘주의 행렬을 사용하여 이웃 특징의 가중치 집합을 통해 각 노드의 표현을 업데이트함으로써 순서 수준의 구조를 유지한다.
• 모델은 풀링 없이 원시 BERT 인코딩된 순서를 직접 처리하여 추론을 위한 전체 순서적 맥락을 유지한다.
• GSN 이후에 두 단계의 어휘주의 풀링을 적용하여 분류 작업을 위한 그래프 수준의 표현을 생성한다.
• 표준 GNN이 고정 크기의 벡터만 출력하는 데 반해, 이 프레임워크는 노드 수준의 순차적 레이블링과 그래프 수준의 분류를 모두 지원한다.

실험 결과

연구 질문

• RQ1 노드가 순서로 표현될 때 GNN 변종이 메시지 전파 중에 순서 수준의 정보를 유지할 수 있는가?
• RQ2 공통 어휘주의 기반 메시지 전파가 풀링 기반 GNN보다 다단계 NLP 작업에서 추론 성능을 향상시키는가?
• RQ3 GSN은 표준 GNN이 벡터 전용 출력으로 인해 구현이 불가능한 순차적 레이블링 작업을 지원할 수 있는가?
• RQ4 GSN은 다단계 독해력 및 사실 검증과 같은 복잡한 추론 작업에서 더 높은 성능을 달성하는가?
• RQ5 GSN의 어휘주의 메커니즘이 추론 과정에서 의미 있는 문장 간 어휘주의 패턴을 어떻게 드러내는가?

주요 결과

• FEVER 개발 세트에서 GSN은 74.89% ACC와 70.51% FEVER 점수를 기록하여 베이스라인 GNN 시스템(73.72% ACC, 69.26% FEVER)을 초월했다.
• FEVER 테스트 세트에서 GSN은 72.00% ACC와 67.13% FEVER 점수를 기록하여 베이스라인 시스템보다 ACC 1.20%p, FEVER 점수 1.25%p 향상된 성능을 보였다.
• HotpotQA에서 GSN은 해석 가능한 다단계 독해력에서 향상된 성능을 보였으며, 질적 어휘주의 히트맵이 답변 스파이크와 다리 역할을 하는 실체와 일치함을 확인했다.
• 시각화 결과 GSN이 답변 스파이크 내에서 'YG Entertainment'와 'Y'와 같은 핵심 토큰에 주목함을 확인하여 효과적인 문장 간 추론이 이루어졌음을 입증했다.
• 모델이 순서 수준의 표현을 유지할 수 있었기에 표준 GNN이 구현이 어려운 순차적 레이블링이 가능해졌다.
• 제안된 공통 어휘주의 메커니즘은 길이가 다른 순서 간에도 관련 정보를 효과적으로 포착할 수 있었다.