[논문 리뷰] Grape: Knowledge Graph Enhanced Passage Reader for Open-domain Question Answering

Mingxuan Ju, Wenhao Yu외 3명|arXiv (Cornell University)|2022. 10. 06.

Topic Modeling인용 수 6

한 줄 요약

GraPe는 지식 그래프를 강화한 파assage 리더를 제안하며, 질문-파스제 엔티티 쌍에서 국소적인 이분 그래프를 구성하고 Wikidata의 관계 지식을 읽기 모델의 문맥적 표현과 융합하기 위해 그래프 신경망을 사용한다. 이 방법은 최신 기술 대비 정확도 매칭 점수를 최대 2.2점 향상시키며, 사실 관련 예제에서 뚜렷한 성능 향상을 보이며, 추론 오버헤드는 극히 적다.

ABSTRACT

A common thread of open-domain question answering (QA) models employs a retriever-reader pipeline that first retrieves a handful of relevant passages from Wikipedia and then peruses the passages to produce an answer. However, even state-of-the-art readers fail to capture the complex relationships between entities appearing in questions and retrieved passages, leading to answers that contradict the facts. In light of this, we propose a novel knowledge Graph enhanced passage reader, namely Grape, to improve the reader performance for open-domain QA. Specifically, for each pair of question and retrieved passage, we first construct a localized bipartite graph, attributed to entity embeddings extracted from the intermediate layer of the reader model. Then, a graph neural network learns relational knowledge while fusing graph and contextual representations into the hidden states of the reader model. Experiments on three open-domain QA benchmarks show Grape can improve the state-of-the-art performance by up to 2.2 exact match score with a negligible overhead increase, with the same retriever and retrieved passages. Our code is publicly available at https://github.com/jumxglhf/GRAPE.

연구 동기 및 목표

• 최신 기술 리더가 복잡한 엔티티 관계를 포착하지 못해 사실적으로 잘못된 답변을 내는 데서 기인하는 실패를 해결하기 위해.
• Wikidata와 같은 지식 그래프(KG)에서의 구조화된 사실 지식을 통합함으로써 개방형 도메인 QA에서 리더 성능을 향상시키기 위해.
• 대규모 지식 그래프에서의 추론이 비현실적인 문제를 피하기 위해 국소적이고 효율적인 그래프 구축 방법을 설계하기 위해.
• 지식 그래프에서의 관계 지식이 사실 기반 질문에서 특히 정답 예측 정확도를 크게 향상시킬 수 있음을 입증하기 위해.
• 성능 향상 요인이 일반적인 표현 학습이 아닌 사실적 관계 지식에 기인한다는 것을 검증하기 위해.

제안 방법

• 질문-파스제 쌍 각각에 대해 GraPe는 질문과 파스제의 엔티티를 노드로 하고 Wikidata의 사실 관계를 간선으로 하는 국소적 이분 그래프를 구성한다.
• 엔티티 표현은 리더 모델의 중간 레이어에서의 은닉 상태를 사용하여 초기화되어 문맥 정보를 유지한다.
• 관계 인식 그래프 신경망(GNN)이 간선 沿해 메시지를 집계하여 문맥과 관계 사실을 모두 포함한 향상된 노드 표현을 학습한다.
• 업데이트된 노드 표현은 리더의 은닉 상태에 다시 융합되어 답변 예측을 개선한다.
• 고정된 리트리버와 검색된 파스제를 사용하여 종단 간(end-to-end)으로 적용되며, 최신 기술 리더와의 공정한 비교를 보장한다.
• 그래프 구축은 질문과 답변에 관련된 엔티티에만 집중하여 부가적 또는 관련 없는 관계는 필터링한다.

실험 결과

연구 질문

• RQ1 지식 그래프에서의 구조화된 사실 지식을 통합하면 개방형 도메인 QA 리더의 성능이 향상될 수 있는가?
• RQ2 Wikidata에서 유도된 국소적이고 엔티티 중심의 그래프를 사용하면 순수 텍스트 문맥에 의존하는 것보다 더 정확한 답변 예측이 가능한가?
• RQ3 GraPe에서의 성능 향상 중 얼마나 많은 부분이 일반적인 표현 학습이 아닌 사실적 관계 지식에 기인하는가?
• RQ4 GraPe의 성능 향상은 검색된 파스제의 수에 따라 스케일업되며, 적은 수의 파스제도 유사한 성능을 달성할 수 있는가?
• RQ5 GraPe의 성능 향상이 지식 그래프에서 직접 답변을 뒷받침하는 사실 관계를 포함하는 질문에서 가장 두드러지는가?

주요 결과

• GraPe는 NQ, TriviaQA, WebQ 세 개의 개방형 도메인 QA 벤치마크에서 최신 기술 FiD 모델보다 최대 2.2점의 정확도 매칭(EM) 점수 향상을 기록한다.
• Wikidata의 사실 트리플릿이 지원하는 질문 서브셋에서, WebQ, TriviaQA, NQ 각각 1.6, 1.2, 0.5점의 EM 향상을 기록하며 FiD 대비 성능 향상률을 거의 두 배로 끌어올린다.
• 성능 향상은 사실 관련 예제에서 가장 두드러지며, WebQ의 사실 관련 서브셋에서 3.7점의 개선 폭을 기록하여 방법이 사실적 관계 지식을 활용한다는 점을 검증한다.
• 25개 이상의 검색된 파스제를 사용할 경우, GraPe는 파스제 수를 절반으로 줄여도 FiD의 성능을 재현한다. 이는 샘플 효율성이 향상됨을 시사한다.
• 사례 연구를 통해 모델이 'Arges'가 'Cyclopes'의 일원임을, 또는 'UK'가 'Parliament of UK'에 적용된다는 특정 KG 사실을 활용해 FiD의 오류를 수정함을 확인했다.
• 메서드는 국소적 그래프에서 작동하고 기존 리더 표현을 재사용하므로 계산 오버헤드가 극히 적다.