[논문 리뷰] Multi-step Entity-centric Information Retrieval for Multi-Hop Question Answering

Ameya Godbole, Dilip Kavarthapu외 9명|arXiv (Cornell University)|2019. 09. 17.

Topic Modeling참고 문헌 30인용 수 22

한 줄 요약

이 논문은 다단계 질문에 대한 정보 검색 프레임워크를 제안하며, 질문과 답변 파assage 간의 어휘적 유사도가 낮은 상황에서 실질적인 지원 증거를 효과적으로 연결하기 위해 BERT 기반의 맥락 기반 임베딩을 사용한다. 엔티티 언급을 통해 검색 힙을 이끄는 방식으로, QA 모델의 미세조정 없이 HotpotQA에서 F1 점수를 10.59 포인트 향상시켰으며, 기존의 기준 IR 및 재정렬 기반 접근 방식보다 뚜렷이 뛰어나다.

ABSTRACT

Multi-hop question answering (QA) requires an information retrieval (IR) system that can find \emph{multiple} supporting evidence needed to answer the question, making the retrieval process very challenging. This paper introduces an IR technique that uses information of entities present in the initially retrieved evidence to learn to `\emph{hop}' to other relevant evidence. In a setting, with more than extbf{5 million} Wikipedia paragraphs, our approach leads to significant boost in retrieval performance. The retrieved evidence also increased the performance of an existing QA model (without any training) on the \hotpot benchmark by extbf{10.59} F1.

연구 동기 및 목표

• 질문과 답변 파assage 간의 어휘적 유사도가 낮은 상황에서 다단계 질문에 대한 다수의 지원 증거 파assage를 검색하는 데 도전하는 것.
• 엔티티 기반 추론과 다단계 증거 연결을 통합함으로써 오픈 도메인 QA의 검색 성능을 향상시키는 것.
• 초기 결과에서 얻은 엔티티 언급을 기반으로 동적으로 새로운 증거로 이동할 수 있는 검색기(retriever)를 개발하는 것. 이는 질문 재구성에 의존하지 않는 방식이다.
• HotpotQA에서 미리 훈련된 모델을 사용하여 다른 다단계 데이터셋인 Wikihop에 대해 제로샷 전이를 가능하게 하는 것.
• 검색 품질이 다단계 QA에서 핵심적인 성능 저하 요인임을 입증하고, 엔티티 인식 재정렬이 후속 성능 향상에 크게 기여함을 보여주는 것.

제안 방법

• 주어진 질문에 대해 초기 증거 파assage 집합을 검색하기 위해 BM25 검색기를 사용한다.
• 사전 훈련된 엔티티 태거를 사용하여 초깃결과의 파assage에서 엔티티 언급을 식별한다.
• 테스트 시기 데이터 泄露를 방지하기 위해 엔티티 언급을 위키백과 문단으로 매핑하는 커스터마이즈된 별칭 테이블을 사용해 엔티티 연결을 수행한다.
• 질문과 후보 증거 파assage(엔티티 기술 문단 포함)를 맥락 기반 표현으로 인코딩하는 BERT 기반 재정렬기를 활용한다.
• 초기 파assage와 엔티티 기술 문단을 함께 모델링하여 잠재적 검색 체인을 평가함으로써 다단계 증거 선택을 가능하게 한다.
• 단일 단계 질문에도 대응할 수 있도록 초깃결과에서 자기 자신으로의 리디렉션(자기순환)을 허용함으로써, 종단 간(end-to-end) 적응이 가능한 프레임워크를 구성한다.

실험 결과

연구 질문

• RQ1 공통 엔티티를 기반으로 한 파assage 간 이동을 가능하게 하는 엔티티 중심 검색이 다단계 QA 성능 향상에 기여할 수 있는가?
• RQ2 BERT에서 유도된 맥락 기반 엔티티 표현을 사용할 경우, 기존의 질문 재구성 또는 bag-of-words 방법보다 더 나은 증거 검색 성능을 달성할 수 있는가?
• RQ3 HotpotQA에서 훈련된 모델이 다른 다단계 데이터셋인 Wikihop에서 제로샷 검색에 일반화될 수 있는가?
• RQ4 엔티티 연결 및 다단계 증거 체인 연결이 어려운 다단계 질문과 쉬운 다단계 질문 간의 성능 격차를 어느 정도 줄일 수 있는가?
• RQ5 고정된 QA 리더 모델을 사용할 경우, 검색 품질이 전체 QA 성능에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 기준 QA 모델을 사용할 때, QA 모델의 미세조정 없이도 HotpotQA의 은닉 테스트 세트에서 F1 점수를 10.59 포인트 향상시켰다.
• Wikihop 데이터셋에서 제로샷 설정에서 BM25와 최신 BERT 재정렬기(Nogueira and Cho, 2019)를 모두 능가했으며, 상위 5개 검색 결과에서 41%의 정확도를 달성했다.
• HotpotQA의 어려운 서브셋에서 검색 성능이 F1 점수 25.9%에서 43.2%로 향상되어 어려운 다단계 질문에 대한 뚜렷한 성능 향상을 입증했다.
• 엔티티 중심 접근 방식은 질문과 답변 파assage 간의 어휘적 유사도 의존도를 효과적으로 낮추었으며, 다리 역할을 하는 엔티티를 통해 검색을 이끌었다.
• 강력한 일반화 능력을 보였으며, 해당 데이터셋에 대한 미세조정 없이도 Wikihop에서 최고 성능의 제로샷 성능을 달성했다.
• 제거 실험(ablation study) 결과, 엔티티 연결과 다단계 재정렬이 모두 필수적인 구성 요소임을 확인했으며, 둘 중 하나를 제거할 경우 성능이 뚜렷이 저하됨을 입증했다.