[논문 리뷰] Learning to Retrieve Reasoning Paths over Wikipedia Graph for Question Answering

Akari Asai, Kazuma Hashimoto외 3명|arXiv (Cornell University)|2019. 11. 24.

Topic Modeling참고 문헌 37인용 수 146

한 줄 요약

그래프 기반 순환 검색기가 위키피디아의 다중 홉 추론 경로를 검색하도록 학습하고, 리더와 페어링하여 최상의 경로에서 답을 추출한다; HotpotQA full wiki에서 최첨단 성능을 달성하고 SQuAD Open 및 Natural Questions Open에서 강력한 결과를 보인다.

ABSTRACT

Answering questions that require multi-hop reasoning at web-scale necessitates retrieving multiple evidence documents, one of which often has little lexical or semantic relationship to the question. This paper introduces a new graph-based recurrent retrieval approach that learns to retrieve reasoning paths over the Wikipedia graph to answer multi-hop open-domain questions. Our retriever model trains a recurrent neural network that learns to sequentially retrieve evidence paragraphs in the reasoning path by conditioning on the previously retrieved documents. Our reader model ranks the reasoning paths and extracts the answer span included in the best reasoning path. Experimental results show state-of-the-art results in three open-domain QA datasets, showcasing the effectiveness and robustness of our method. Notably, our method achieves significant improvement in HotpotQA, outperforming the previous best model by more than 14 points.

연구 동기 및 목표

• 웹 규모의 텍스트에 대해 다중 홉 추론이 필요한 오픈 도메인 QA를 고무한다.
• 위키피디아 단락 그래프를 탐색하여 추론 경로를 구성하도록 학습하는 검색기 개발.
• 검색기와 리더를 결합하여 경로를 순위화하고 최상의 경로에서 답변을 추출한다.
• 검색기와 리더 모두에 대해 데이터 증강 및 음수 샘플링으로 강건성을 향상시킨다.
• 여러 QA 데이터셋에서 강력한 성능과 해석 가능성을 입증한다.

제안 방법

• 하이퍼링크와 문서 내 링크를 방향성 간선으로 사용하여 위키피디아 단락 그래프를 구성한다.
• 문단을 노드로 표현하고 이전 선택에 조건화된 순차적으로 문단을 선택하는 RNN 기반 검색기를 학습한다.
• 추론 경로를 탐색하기 위해 빔 검색을 사용하고 후보를 TF-IDF 검색기로 초기화한다.
• 검색 손실을 최적화하기 위해 감독된 실제 경로와 증강된 경로 및 음수 예시로 학습한다.
• 다중 작업 학습을 사용하여 답변 범위 추출과 추론 경로 재랭킹을 함께 수행하도록 BERT 기반 리더를 확장한다.
• 추론 경로 중 상위 경로를 리더에 전달하여 최상의 경로를 선택하고 답변 범위를 추출한다.

실험 결과

연구 질문

• RQ1 그래프 기반 순환 검색기가 대형 위키피디아 단락 그래프에서 다중 홉 추론 경로를 효과적으로 학습할 수 있는가?
• RQ2 경로 인식 검색기와 리더를 결합하는 것이 다중 홉 작업에서 오픈 도메인 QA 성능을 향상시키는가?
• RQ3 데이터 증강과 음수 샘플링이 검색기와 리더의 학습 강건성과 정확도에 어떤 영향을 미치는가?
• RQ4 이 방식이 HotpotQA, SQuAD Open, Natural Questions Open과 같은 데이터셋에서 견고한가?
• RQ5 이 프레임워크에서 임의 단계 추론과 고정 단계 검색의 영향은 무엇인가?

주요 결과

• HotpotQA full wiki 및 distractor 설정에서 최첨단 결과를 달성하며, 이전 방법에 비해 큰 개선을 보인다.
• SQuAD Open에서 이전 모델보다 우수하고 Natural Questions Open에서 최첨단에 상응하거나 이를 추월한다.
• 검색은 그래프에서 순차적 추론 경로를 학습하고 하이퍼링크 기반의 음수 샘플을 사용한 학습에서 얻는 이점을 보인다.
• 검색기와 리더 간의 상호 작용이 결정적이다; 구성 요소를 제거하면 성능이 현저히 떨어지는 애블레이션 결과가 나타난다.
• 적응적이고 임의 단계 검색이 고정 단계 방법보다 우수하며, 명시적 하이퍼링크 그래프의 유무에 관계없이 모델은 효과적이다.