[논문 리뷰] Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering

Yanlin Feng, Xinyue Chen외 4명|arXiv (Cornell University)|2020. 05. 01.

Topic Modeling참고 문헌 38인용 수 26

한 줄 요약

이 논문은 지식 기반 질문 응답에서 지식 그래프 상에서 다단계 관계 추론을 수행하기 위해 그래프 신경망과 구조적 관계 어텐션을 융합한 확장 가능하고 해석 가능한 방법인 다단계 그래프 관계 네트워크(MHGRN)를 제안한다. MHGRN는 경로 길이에 대해 선형 확장 가능성을 유지하면서도 다단계 추론 경로를 명시적으로 모델링함으로써 CommonsenseQA와 OpenbookQA에서 최고 성능을 달성한다.

ABSTRACT

Existing work on augmenting question answering (QA) models with external knowledge (e.g., knowledge graphs) either struggle to model multi-hop relations efficiently, or lack transparency into the model's prediction rationale. In this paper, we propose a novel knowledge-aware approach that equips pre-trained language models (PTLMs) with a multi-hop relational reasoning module, named multi-hop graph relation network (MHGRN). It performs multi-hop, multi-relational reasoning over subgraphs extracted from external knowledge graphs. The proposed reasoning module unifies path-based reasoning methods and graph neural networks to achieve better interpretability and scalability. We also empirically show its effectiveness and scalability on CommonsenseQA and OpenbookQA datasets, and interpret its behaviors with case studies.

연구 동기 및 목표

• 지식 그래프를 기반으로 한 다단계 추론에 의존하는 기존 지식 기반 질문 응답 모델에서의 해석 가능성과 확장성 부족 문제를 해결한다.
• 경로 기반 모델(예: 지수적 경로 폭발)과 GNN(예: 해석 가능성 부족)의 한계를 극복하기 위해 그들의 강점을 통합한다.
• 구조적 관계 어텐션을 사용한 단일 레이어 메시지 전파 기반 메커니즘을 통해 효율적이고 확장 가능하며 투명한 다단계 관계 추론을 가능하게 한다.
• 명시적인 추론 경로가 공감 추론 작업에서 모델 신뢰성과 성능 향상에 기여할 수 있음을 입증한다.

제안 방법

• 구조적 관계 어텐션을 사용해 단일 레이어에서 다단계 메시지 전파를 수행하는 새로운 그래프 인코딩 아키텍처인 다단계 그래프 관계 네트워크(MHGRN)를 제안한다.
• 다단계 이웃을 주시하면서 관계 유형 정보를 유지하는 구조적 관계 어텐션 메커니즘을 도입하여 해석 가능한 추론 경로를 가능하게 한다.
• 모든 K단계 이웃으로부터 정보를 집계하는 단일 레이어 연산으로 메시지 전파를 공식화하여 재귀 계산을 피하고, 도달 가능한 단계 수 K에 대해 선형 확장 가능성을 보장한다.
• 주의 가중치에서 추론 경로를 디코딩하는 학습 및 추론 알고리즘을 설계하여 모델의 해석 가능성을 확보한다.
• 엔드 투 엔드 지식 기반 QA를 위해 사전 학습된 언어 모델(PTLM)과 MHGRN을 통합하여 텍스트 및 그래프 인코더를 공동으로 미세조정한다.
• 추론 범위를 제한하고 효율성을 향상시키기 위해 질문 및 답변 엔티티 주변에서 외부 지식 그래프(예: ConceptNet)에서 부분 그래프를 추출한다.

실험 결과

연구 질문

• RQ1 지식 기반 질문 응답을 위한 다단계 관계 추론에서 그래프 신경망 아키텍처가 확장성과 해석 가능성을 동시에 달성할 수 있는가?
• RQ2 명시적인 다단계 추론 경로를 포함할 경우, 블랙박스 GNN 또는 경로 기반 모델 대비 성능과 신뢰성에 어떤 영향을 미치는가?
• RQ3 지식 기반 QA에서 최적의 도달 단계 수(K)는 얼마이며, 성능은 K가 증가함에 따라 어떻게 변화하는가?
• RQ4 다양한 데이터 규모에서 MHGRN은 지식 무관 미세조정 및 기타 그래프 인코딩 방법보다 얼마나 향상되는가?
• RQ5 모델의 추론 과정은 인간과 유사한 논리적 사슬과 일치하는 추출된 관계 경로를 통해 효과적으로 해석될 수 있는가?

주요 결과

• MHGRN는 CommonsenseQA(78.9% on IHTest)와 OpenbookQA(71.2% on IHTest)에서 최고 성능을 기록하며 지식 무관 미세조정 및 기타 그래프 인코딩 베이스라인을 크게 능가한다.
• 모델은 테스트된 모든 데이터 분할에서 지식 무관 미세조정 대비 일관된 성능 향상을 보이며, 텍스트 및 그래프 인코더 간의 강력한 보완 효과를 입증한다.
• CommonsenseQA에서 최적의 성능은 K=4단계에서 달성되며, K>4일 경우 더 긴 관계 경로에서 노이즈 증가로 인해 성능 저하가 발생한다.
• MHGRN는 도달 단계 수 K에 대해 선형 확장 가능성을 보이며, 이론적 복잡도가 더 높음에도 불구하고 훈련 시간은 RGCN 대비 약 두 배 수준으로만 증가한다.
• 사례 연구 결과, MHGRN는 질문 엔티티와 답변 엔티티를 의미적으로 유의미한 관계를 통해 연결하는 일관되고 인간이 이해할 수 있는 추론 경로를 생성함을 확인했다.
• 제거 실험 결과, 구조적 관계 어텐션 메커니즘과 노드 유형 구분이 모두 핵심 요소이며, 각각 성능 향상에 거의 동일한 기여를 한다.