[논문 리뷰] Multi-Paragraph Reasoning with Knowledge-enhanced Graph Neural Network

Deming Ye, Yankai Lin외 3명|arXiv (Cornell University)|2019. 11. 06.

Topic Modeling참고 문헌 11인용 수 14

한 줄 요약

이 논문은 지식 기반 그래프 신경망(KGNN)을 제안하여 오픈 도메인 질의 응답(OpenQA)에서 다중 단락 추론을 수행한다. 지식 그래프로부터 추출한 실체와 그 관계 사실을 모델링하여 단락 간 구조적 추론을 가능하게 한다. KGNN은 배경 정보가 혼합된 설정에서 52.82% F1, 전체 위키 설정에서 47.19% F1을 기록하여, 검색된 단락 수가 증가함에 따라도 강건한 성능을 보이며 강력한 기준 모델을 능가한다.

ABSTRACT

Multi-paragraph reasoning is indispensable for open-domain question answering (OpenQA), which receives less attention in the current OpenQA systems. In this work, we propose a knowledge-enhanced graph neural network (KGNN), which performs reasoning over multiple paragraphs with entities. To explicitly capture the entities' relatedness, KGNN utilizes relational facts in knowledge graph to build the entity graph. The experimental results show that KGNN outperforms in both distractor and full wiki settings than baselines methods on HotpotQA dataset. And our further analysis illustrates KGNN is effective and robust with more retrieved paragraphs.

연구 동기 및 목표

• 기존 OpenQA 시스템에서 다중 단락 추론이 효과적으로 구현되어 있지 않은 문제를 해결하기 위해, 특히 단일 단락을 넘는 추론이 필요한 질문에 대응한다.
• 실체를 노드로 모델링하고 지식 그래프를 통해 관계를 표현하여 다중 단락에 걸친 추론 능력을 향상시킨다.
• 외부 지식에서 유래한 공명성 및 관계 사실을 통해 실체 간 유사성을 포괄하는 그래프 신경망을 개발한다.
• 검색된 단락 수가 증가함에 따라 모델의 강건성과 확장성을 평가한다.

제안 방법

• 실체는 spaCy를 사용해 단락에서 추출하고, Wikidata와 연동하여 지식 기반을 확보한다.
• 동일한 실체를 나타내는 언급어들 간에 공명성 간선을 통해 실체 그래프를 구성한다.
• 지식 그래프에서 동일한 관계(예: '작사', '레코드 레이블')를 공유하는 실체 간에 관계 간선을 추가한다.
• 지식 기반 그래프 신경망이 관계 기반 실체 그래프를 통해 메시지 전파를 수행하여 노드 표현을 갱신한다.
• 질의와 단락을 맥락 기반 표현으로 인코딩하기 위해 다중 헤드 자기주의 및 양방향 주의 메커니즘을 사용한다.
• 최종 답변 예측은 그래프 네트워크에서 갱신된 실체 표현을 기반으로 스파닝 추출 방식으로 수행된다.

실험 결과

연구 질문

• RQ1 기존 기준 모델 대비 지식 기반 그래프 신경망이 오픈 도메인 질의 응답에서 다중 단락 추론 능력을 향상시키는가?
• RQ2 지식 그래프에서 유래한 관계 사실을 통합할 경우, 다중 단락에 걸친 추론 성능에 어떤 영향을 미치는가?
• RQ3 검색된 단락 수가 증가함에 따라 모델의 성능이 유지되거나 향상되는가? 이는 노이즈에 대한 강건성을 시사한다.
• RQ4 HotpotQA에서 추론을 수행하기 위해 실체 그래프에서 메시지 전파의 최적 깊이(층수)는 얼마인가?
• RQ5 배경 정보가 혼합된 단락과 전체 위키 검색 설정 모두에서 모델의 성능은 어떠한가?

주요 결과

• 배경 정보가 혼합된 설정에서 KGNN은 52.82% F1과 22.40% EM을 기록하여 Yang et al. (2018)의 41.87% F1과 18.14% EM을 뛰어넘었다.
• 전체 위키 설정에서는 KGNN이 47.19% F1과 7.03% EM을 기록하여 Yang et al. (2018)의 37.71% F1과 1.85% EM을 초월했다.
• 2층으로 구성된 KGNN 모델이 최고의 성능(54.05% F1)을 기록하여 대부분의 HotpotQA 질문에서 이중 추론이 최적임을 시사한다.
• 30개의 검색된 단락을 대상으로 KGNN의 F1 점수는 25.12%로 상승했으며, 이는 Yang et al. (2018)의 21.52%에 비해 강력한 노이즈 제거 능력과 확장성을 보여준다.
• 단락 수가 증가함에 따라 성능 향상이 기준 모델을 앞서며, 모델의 강건성이 입증되었다.
• 감독, 직위, 레코드 레이블, 작사, 변형 출처의 다섯 가지 핵심 관계를 활용함으로써 추론 능력이 크게 향상되었다.