[논문 리뷰] A Graph-guided Multi-round Retrieval Method for Conversational Open-domain Question Answering

Yongqi Li, Wenjie Li외 1명|arXiv (Cornell University)|2021. 04. 17.

Topic Modeling참고 문헌 36인용 수 5

한 줄 요약

이 논문은 초연결된 위키백과 문서를 기반으로 한 문서 그래프를 사용하여 대화형 오픈도메인 질의응답에서 대화 라운드 간 답변 간 관계를 모델링하는 그래프 가이드드 다중라운드 검색 방법을 제안한다. 관련성 피드백과 그래프 주의망(GAT)을 통합함으로써 검색 커버리지가 향상되어 공개 데이터셋에서 진짜 역사 답변을 사용할 경우 F1 점수 11% 향상, 예측된 답변을 사용할 경우 5% 향상되었다.

ABSTRACT

In recent years, conversational agents have provided a natural and convenient access to useful information in people's daily life, along with a broad and new research topic, conversational question answering (QA). Among the popular conversational QA tasks, conversational open-domain QA, which requires to retrieve relevant passages from the Web to extract exact answers, is more practical but less studied. The main challenge is how to well capture and fully explore the historical context in conversation to facilitate effective large-scale retrieval. The current work mainly utilizes history questions to refine the current question or to enhance its representation, yet the relations between history answers and the current answer in a conversation, which is also critical to the task, are totally neglected. To address this problem, we propose a novel graph-guided retrieval method to model the relations among answers across conversation turns. In particular, it utilizes a passage graph derived from the hyperlink-connected passages that contains history answers and potential current answers, to retrieve more relevant passages for subsequent answer extraction. Moreover, in order to collect more complementary information in the historical context, we also propose to incorporate the multi-round relevance feedback technique to explore the impact of the retrieval context on current question understanding. Experimental results on the public dataset verify the effectiveness of our proposed method. Notably, the F1 score is improved by 5% and 11% with predicted history answers and true history answers, respectively.

연구 동기 및 목표

• 기존 대화형 오픈도메인 QA 시스템이 이전 답변과 현재 답변 간 관계를 간과하는 한계를 해결하기 위해.
• 초기 검색 결과를 초월해 관련 증거를 확장하기 위해 초연결된 문서를 활용하여 검색 효과를 향상시키기 위해.
• 검색 결과에서 유도된 피드백을 동적으로 통합하여 역사적 맥락 모델링을 향상시키고 질문 이해를 개선하기 위해.
• 그래프 기반 검색과 다중라운드 관련성 피드백을 통합한 파ip라인을 개발하여 더 나은 답변 추출을 위해.

제안 방법

• 이 방법은 이전 검색기에서 확보한 역사 답변을 포함한 문서와 그 외 문서들을 기반으로 한 문서 그래프를 구성하는 Explorer 컴포넌트를 도입한다.
• 초기 검색 결과 이외의 잠재적으로 관련성이 높은 문서를 포함하기 위해 하이퍼링크를 따라 k-호프 워크를 통해 문서 그래프를 확장한다.
• 확장된 그래프에 그래프 주의망(GAT)을 적용하여 향상된 문서 표현을 생성함으로써 검색 성능을 향상시킨다.
• 동적 역사 모델링(DHM)은 이전 검색 라운드의 피드백을 반복적으로 활용하여 질문 임베딩을 개선함으로써 관련성 피드백을 통합한다.
• 각 라운드에서 검색 결과를 기반으로 질의를 개선하는 다중라운드 검색 전략을 사용하여 증거 커버리지를 향상시킨다.
• 최종 문서 목록은 랭커와 리더에게 전달되어 답변 추출이 이루어지며, 그래프 기반 검색이 재현율과 관련성 향상에 기여한다.

실험 결과

연구 질문

• RQ1 대화 라운드 간 답변 간 관계를 효과적으로 모델링하여 대화형 오픈도메인 QA에서 검색 성능을 향상시킬 수 있는가?
• RQ2 초연결된 문서는 초기 검색 결과를 초월해 얼마나 많은 검색 커버리지를 향상시킬 수 있는가?
• RQ3 여러 라운드의 관련성 피드백은 복잡하고 맥락에 의존하는 질문의 이해를 얼마나 향상시킬 수 있는가?
• RQ4 기존의 역사 질문을 단순히 재작성하거나 연결하는 방법과 비교해 답변 수준의 관계를 모델링하는 것이 얼마나 유의미한가?
• RQ5 그래프 기반 검색 메커니즘은 대화형 QA에서 F1 점수와 검색 재현율에 어떤 영향을 미치는가?

주요 결과

• 공개 OR-QuAC 데이터셋에서 진짜 역사 답변을 사용할 경우 F1 점수가 11% 향상되었고, 예측된 역사 답변을 사용할 경우 5% 향상되었다.
• Explorer 컴포넌트는 단일라운드 및 다중라운드 검색 베이스라인을 모두 초월하여, 다른 방법이 실패한 경우에도 골드 문서를 검색해냈다.
• 그래프 가이드드 검색은 역사 답변에 연결된 하이퍼링크를 통해 연결된 문서를 포함함으로써 재현율을 크게 향상시켰으며, 특히 다단계 추론 시나리오에서 두드러진 효과를 보였다.
• 모델의 주의 맵에서 주제 관련 내용을 포함한 역사 질문은 더 높은 주의를 받았고, 유용한 맥락을 담고 있는 두 번째 역사 질문은 때로 강한 점수를 기록했다.
• 다중라운드 검색 전략은 복잡한 질문, 특히 여러 증거 문서가 필요한 질문에 대해 단일라운드 검색을 효과적으로 보완했다.
• 결과적으로 문서 그래프를 통해 답변 수준의 관계를 모델링하는 것이 질문 재작성이나 역사 질문 연결만에 의존하는 전통적 방법보다 더 효과적임을 입증했다.