[논문 리뷰] A Heterogeneous Graph with Factual, Temporal and Logical Knowledge for Question Answering Over Dynamic Contexts

Wanjun Zhong, Duyu Tang외 4명|arXiv (Cornell University)|2020. 04. 25.

Topic Modeling참고 문헌 23인용 수 6

한 줄 요약

이 논문은 동적 절차적 텍스트에서의 질의 응답을 향상시키기 위해 사실적 지식, 시간적 지식, 논리적 지식을 통합하는 이질적 그래프 신경망 ProGraph를 제안한다. BERT 임bedded 노드에서 구성된 지식 강화 그래프를 구축하고, 엔드 투 엔드 GNN을 훈련시킴으로써, PROPARA에서 61.0%의 F1 스코어를 달성하여 ProGlobal과 같은 강력한 베이스라인을 상당한 격차로 앞서며, 그래프 구조를 통한 해석 가능한 추론을 제공한다.

ABSTRACT

We study question answering over a dynamic textual environment. Although neural network models achieve impressive accuracy via learning from input-output examples, they rarely leverage various types of knowledge and are generally not interpretable. In this work, we propose a graph-based approach, where a heterogeneous graph is automatically built with factual knowledge of the context, temporal knowledge of the past states, and logical knowledge that combines human-curated knowledge bases and rule bases. We develop a graph neural network over the constructed graph, and train the model in an end-to-end manner. Experimental results on a benchmark dataset show that the injection of various types of knowledge improves a strong neural network baseline. An additional benefit of our approach is that the graph itself naturally serves as a rational behind the decision making.

연구 동기 및 목표

• 학습 데이터를 초월한 구조화된 지식을 통합함으로써 동적 텍스트 환경에서의 신경 질의 응답을 향상시키는 것.
• 순수 신경 모델에서의 해석 가능성 부족과 지식 통합 부족 문제를 해결하는 것.
• 신호 기반 추론과 신경 표현 학습을 결합하여 상태 추적에서의 일반화 및 일관성 향상을 도모하는 것.
• 통합된 그래프 기반 프레임워크를 사용해 절차적 텍스트에서의 인과적 및 시간적 의존성을 모델링하는 것.
• 그래프 구조를 통해 합리적이고 추적 가능한 의사결정 과정을 제공함으로써 모델의 투명성을 향상시키는 것.

제안 방법

• 정보 추출에서 유래한 사실적 지식, 과거 상태의 의미 벡터 변환에서 유도한 시간적 지식, VerbNet에 기반한 규칙 기반 추론에서 유도한 논리적 지식을 통합한 이질적 그래프를 구축한다.
• 엔티티, 동작, 관계의 그래프 내 노드 표현을 초기화하기 위해 BERT를 사용한다.
• 메시지 전달 및 집계를 적용한 그래프 신경망을 통해 그래프 전반에서 노드 표현을 업데이트한다.
• PROPARA 데이터셋의 지도 신호를 사용해 전체 모델을 엔드 투 엔드로 훈련시킨다.
• 기호 규칙과 외부 지식 기반 시스템을 통합하여 논리적 추론을 이끌고 세계 지식과의 일관성을 강제한다.
• 그래프 구조를 활용해 시간 단계 전반에 걸친 전역 추론과 세밀한 상태 변화 예측을 둘 다 지원한다.

실험 결과

연구 질문

• RQ1 신경 모델에 사실적, 시간적, 논리적 지식을 통합함으로써 동적 절차적 텍스트에서의 추론 성능 향상이 가능한가?
• RQ2 기호 지식의 통합이 신경 질의 응답 시스템의 해석 가능성과 일관성에 어떻게 기여하는가?
• RQ3 이질적 그래프 구조가 시간에 따라 엔티티 상태와 전이를 더 잘 모델링하는 데 얼마나 기여하는가?
• RQ4 모델은 절차적 서사에서 모호하거나 암묵적인 인과 관계를 어떻게 처리하는가?
• RQ5 모델의 주요 실패 유형은 무엇이며, 보다 나은 지식 기반을 통해 이를 어떻게 완화할 수 있는가?

주요 결과

• ProGraph는 PROPARA 벤치마크에서 61.0%의 F1 스코어를 기록하여 강력한 ProGlobal 베이스라인을 상당한 격차로 앞서며 성능 향상을 달성했다.
• 문장 수준 질문의 세 가지 카테고리(Cat-1, Cat-2, Cat-3)에서 각각 4.9%, 4.62%, 3.55%의 성능 향상을 기록했다.
• 제거 실험 결과에서 사실적, 시간적, 논리적 지식의 통합이 성능 향상에 기여하는 것으로 확인되었다.
• 그래프 구조는 예측에 대한 합리적 설명으로 자연스럽게 기능하여 모델의 해석 가능성 향상을 도모한다.
• 주요 오류 유형으로는 초기 상태의 잘못된 분류, 수송체 의존 엔티티 상태 추적 실패, 세밀한 의미적 맥락 부족으로 인한 잘못된 동사 기반 규칙 추론 등이 있다.
• 오류 분석 결과, 공명성 해결 및 지식 기반의 개선된 동사 의미가 위치 및 상태 예측 오류를 추가로 감소시킬 수 있음을 확인했다.