[논문 리뷰] Knowledge Guided Text Retrieval and Reading for Open Domain Question Answering

Sewon Min, Danqi Chen외 2명|arXiv (Cornell University)|2019. 11. 10.

Topic Modeling참고 문헌 40인용 수 84

한 줄 요약

이 논문은 지식-가이드된 오픈 도메인 QA 시스템으로, 그래프 형태의 문단을 검색하고 읽고, 그래프 인식 독자(graph-aware reader)를 사용해 관련 문단들 간 정보를 융합하여 텍스트-단일 baselines 대비 커버리지와 정확도를 향상시킨다.

ABSTRACT

We introduce an approach for open-domain question answering (QA) that retrieves and reads a passage graph, where vertices are passages of text and edges represent relationships that are derived from an external knowledge base or co-occurrence in the same article. Our goals are to boost coverage by using knowledge-guided retrieval to find more relevant passages than text-matching methods, and to improve accuracy by allowing for better knowledge-guided fusion of information across related passages. Our graph retrieval method expands a set of seed keyword-retrieved passages by traversing the graph structure of the knowledge base. Our reader extends a BERT-based architecture and updates passage representations by propagating information from related passages and their relations, instead of reading each passage in isolation. Experiments on three open-domain QA datasets, WebQuestions, Natural Questions and TriviaQA, show improved performance over non-graph baselines by 2-11% absolute. Our approach also matches or exceeds the state-of-the-art in every case, without using an expensive end-to-end training regime.

연구 동기 및 목표

• 텍스트 매칭을 넘어 관련 문단을 찾기 위해 지식 기반 가이드 검색을 활용하여 오픈 도메인 QA 커버리지를 증가시킨다.
• 관련 문단 그래프에서의 크로스-패시지 융합 학습을 통해 정답 정확도를 향상시킨다.
• 그래프 기반 검색 구성요소를 그래프 인식 독자와 통합하여 문단 간 정보를 종합한다.

제안 방법

• seed 문단을 Wikidata 관계 및 Wikipedia에서의 동시 등장으로 확장하여 문단 그래프를 구성; seed는 엔티티 연결 및 TF-IDF 검색으로 구성한다.
• BERT 기반 독자인 GraphReader를 사용해 초기 패시지 표현을 생성하고, 그래프 간선으로 정보를 전달하는 M개의 융합 계층을 통해 이를 업데이트한다.
• 관계를 학습 가능한 임베딩으로 표현하고, 관계 인지 또는 이진 융합 방식으로 이웃 패시지 표현을 융합한다.
• 학습된 패시지 표현에 대한 소프트맥스으로 증거 패시지를 선택한 뒤, 선택된 패시지 내에서 답변 Spans를 예측한다.

실험 결과

연구 질문

• RQ1 지식 가이드된 패시지 그래프 검색이 텍스트 매칭 baselines와 비교했을 때 오픈 도메인 QA에서 증거 커버리지와 정답 정확도를 향상시키는가?
• RQ2 관련 문단 간 정보를 전파하는 그래프 인식 독자가 독립적으로 문단을 처리하는 독자보다 더 우수한 성능을 보일 수 있는가?
• RQ3 그래프에서의 관계 유형이 전체 QA 성능에 기여하는 바는 무엇인가?
• RQ4 제안된 방법이 표준 오픈 도메인 QA 데이터셋에서 최첨단 파이프라인 및 엔드-투-엔드 QA 모델과 어떻게 비교되는가?
• RQ5 그래프 기반 검색 및 읽기로 얻는 이점을 실현하기 위해 엔드-투-엔드 학습이 필요한가?

주요 결과

• GraphRetriever는 WebQuestions, Natural Questions, TriviaQA 전부에서 텍스트 매칭 검색보다 절대값으로 2–11% 개선했다.
• GraphReader는 ParReader 베이스라인보다 일관되게 절대값으로 1–5% 우수하다.
• Wikidata 기반의 교차 그래프 관계를 사용하는 것이 이진(관계 불변) 융합 대비 약간의 이득을 제공한다.
• 최고의 GraphRetriever + GraphReader 구성이 평가된 데이터셋에서 최첨단 파이프라인 모델과 일치하거나 이를 능가한다.
• 그래프 기반 접근 방식은 비싼 엔드-투-엔드 학습을 필요로 하지 않으면서도 상당한 향상을 가져온다.