[논문 리뷰] Knowledge-Aided Open-Domain Question Answering

Mantong Zhou, Zhouxing Shi외 2명|arXiv (Cornell University)|2020. 06. 09.

Topic Modeling참고 문헌 36인용 수 9

한 줄 요약

이 논문은 외부 지식 트리플을 사용하여 질문-문서 및 문서-문서 관계를 모델링함으로써 문서 검색 및 답변 재정렬 성능을 햖थ한 지식 기반 개방형 질문 응답(KAQA) 프레임워크를 제안한다. 관계 그래프(G^Q 및 G^D)를 구축하고 검색기 및 재정렬기 구성 요소에 통합함으로써, SQuAD-open에서 최대 2.9% 향상되고 Quasar-T에서 0.9% 향상되는 F1 점수 향상을 기록하여 다양한 데이터셋에서 일관된 성능 향상을 입증한다.

ABSTRACT

Open-domain question answering (QA) aims to find the answer to a question from a large collection of documents.Though many models for single-document machine comprehension have achieved strong performance, there is still much room for improving open-domain QA systems since document retrieval and answer reranking are still unsatisfactory. Golden documents that contain the correct answers may not be correctly scored by the retrieval component, and the correct answers that have been extracted may be wrongly ranked after other candidate answers by the reranking component. One of the reasons is derived from the independent principle in which each candidate document (or answer) is scored independently without considering its relationship to other documents (or answers). In this work, we propose a knowledge-aided open-domain QA (KAQA) method which targets at improving relevant document retrieval and candidate answer reranking by considering the relationship between a question and the documents (termed as question-document graph), and the relationship between candidate documents (termed as document-document graph). The graphs are built using knowledge triples from external knowledge resources. During document retrieval, a candidate document is scored by considering its relationship to the question and other documents. During answer reranking, a candidate answer is reranked using not only its own context but also the clues from other documents. The experimental results show that our proposed method improves document retrieval and answer reranking, and thereby enhances the overall performance of open-domain question answering.

연구 동기 및 목표

• 독립적인 점수 평가 방식의 한계를 해결하기 위해, 금본 문서나 정답이 전반적인 맥락이 부족하여 빠질 수 있는 문제를 해결하고자 한다.
• 검색 및 재정렬 단계에 외부 지식 기반의 관계 지식을 통합하여 개방형 QA 성능을 향상시키고자 한다.
• 국소적 증거(질문-문서 연결)와 전반적 맥락(문서-문서 관계)을 모두 모델링하여 점수 정확도를 향상시키고자 한다.
• 질문-문서 및 문서-문서 그래프가 검색기 및 재정렬기 구성 요소에 미치는 영향을 별도로 및 함께 평가하고자 한다.

제안 방법

• WordNet과 같은 외부 자원에서 얻은 지식 트리플을 사용하여 질문-문서 그래프(G^Q)를 구축함으로써, 의미적 관계를 통해 질문과 후보 문서를 연결한다.
• 후보 문서들 간에 공통 엔티티 또는 지식 트리플에서 유도된 의미적 유사도를 기반으로 문서-문서 그래프(G^D)를 구축한다.
• G^Q와 G^D를 검색기 구성 요소에 통합하여, 직접적인 질문-문서 증거뿐 아니라 관련 문서를 통한 간접적 증거까지 고려한 후보 문서 점수를 산정한다.
• G^Q와 G^D에서 유도된 단서를 재정렬기 구성 요소에 통합하여, 후보 답변을 국소적 맥락뿐 아니라 다른 문서의 증거 기반으로도 평가할 수 있도록 한다.
• 그래프 인코딩 기법을 활용하여 검색기 및 재정렬기의 신경망 구성 요소에 관계 지식을 표현함으로써, 다수의 문서를 종합적으로 추론할 수 있는 능력을 향상시킨다.
• G^Q와 G^D가 검색기 및 재정렬기에서 각각 기여하는 바를 분리하기 위해 추론 분석(ablation study)을 수행하여 그 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 질문-문서 관계(G^Q)를 모델링할 경우 개방형 QA에서 문서 검색 성능에 어떤 영향을 미치는가?
• RQ2 문서-문서 관계(G^D)를 통합할 경우 답변 재정렬 정확도는 어느 정도 향상되는가?
• RQ3 다양한 데이터셋에서 검색기 및 재정렬기 구성 요소에서 G^Q와 G^D의 상대적 기여도는 어떠한가?
• RQ4 외부 지식 기반의 관계 지식은 독립적인 점수 평가 방식으로 인한 성능 격차를 줄일 수 있는가?
• RQ5 전반적인 문서 관계(G^D) 통합으로 인해 상위-k 검색 문서에 포함되지 않은 정답이라도 더 잘 식별할 수 있는가?

주요 결과

• 전체 KAQA 모델은 SQuAD-open에서 F1 점수 53.4, Quasar-T에서 62.2, TriviaQA-unfiltered에서 72.2를 기록하여 기준 모델을 능가한다.
• G^Q를 제거할 경우 SQuAD-open에서 F1 점수는 2.9% 감소하고 Quasar-T에서는 0.5% 감소하여, G^Q가 SQuAD-open에서 더 큰 영향을 미친다.
• G^D를 제거할 경우 SQuAD-open에서 F1 점수는 1.3% 감소하고 Quasar-T에서는 0.9% 감소하여, G^D가 Quasar-T에서 더 큰 기여를 한다. 이는 Quasar-T에서 문서 간 연결이 더 밀도가 높기 때문이다.
• 추론 분석 결과, 검색기 구성 요소가 G^Q와 G^D의 영향을 더 크게 받는 것으로 나타나, G^Q와 G^D가 검색기 성능 향상에 더 기여한다.
• 재정렬기에서 G^D를 제거했을 경우 F1 점수는 1.9% 감소하고 G^Q를 제거했을 경우 0.4% 감소하여, G^D가 답변 신뢰도 점수 평가에 더 많은 전반적 맥락을 제공함을 시사한다.
• 이 방법은 모든 세 가지 데이터셋에서 일관되게 성능 향상을 이끌어내며, 전체 모델은 SQuAD-open에서 재현율 측면에서 상한선까지 약 4.0 F1 포인트에 가까이 다가서고 있다.