[논문 리뷰] HopRetriever: Retrieve Hops over Wikipedia to Answer Complex Questions

Shaobo Li, Xiaoguang Li외 6명|arXiv (Cornell University)|2020. 12. 31.

Topic Modeling인용 수 5

한 줄 요약

HopRetriever는 구조적 하이퍼링크 관계와 비구조적 문서 내용을 결합하여 위키백과에서 다중 스킴 증거를 식별하는 혁신적인 검색 프레임워크를 제안한다. 엔티티 관계를 인코딩하기 위해 언급 임베딩을 사용하고, 사실적 내용을 위해 문서 임베딩을 사용하여, HotpotQA에서 86.89%의 recall@1을 기록하며 이전 방법들을 크게 능가하며 해석 가능한 증거 선택을 제공한다.

ABSTRACT

Collecting supporting evidence from large corpora of text (e.g., Wikipedia) is of great challenge for open-domain Question Answering (QA). Especially, for multi-hop open-domain QA, scattered evidence pieces are required to be gathered together to support the answer extraction. In this paper, we propose a new retrieval target, hop, to collect the hidden reasoning evidence from Wikipedia for complex question answering. Specifically, the hop in this paper is defined as the combination of a hyperlink and the corresponding outbound link document. The hyperlink is encoded as the mention embedding which models the structured knowledge of how the outbound link entity is mentioned in the textual context, and the corresponding outbound link document is encoded as the document embedding representing the unstructured knowledge within it. Accordingly, we build HopRetriever which retrieves hops over Wikipedia to answer complex questions. Experiments on the HotpotQA dataset demonstrate that HopRetriever outperforms previously published evidence retrieval methods by large margins. Moreover, our approach also yields quantifiable interpretations of the evidence collection process.

연구 동기 및 목표

• 복잡한 오픈 도메인 질의 응답을 위한 위키백과에서 산산이 흩어진 다중 스킴 증거를 수집하는 과제를 해결하기 위해.
• 암시적 엔티티 관계를 통해 제공되는 구조적 지식(하이퍼링크를 통한)과 엔티티 소개 페이지에 포함된 사실적 내용을 담고 있는 비구조적 지식을 통합하여 증거 검색을 향상시키기 위해.
• 질의 맥락에 따라 구조적 지식와 비구조적 지식의 기여도를 적응적으로 조절할 수 있는 검색 기반을 개발하기 위해.
• 각 스킴 선택에서 언급 임베딩과 문서 임베딩의 상대적 중요도를 분석하여 설명 가능한 증거 경로를 제공하기 위해.

제안 방법

• 하이퍼링크(언급)와 그에 대응하는 아웃바운드 링크 문서의 조합을 '스킵'으로 정의하여 관계적 증거와 사실적 증거를 모두 표현한다.
• BERT를 사용해 하이퍼링크 주변의 언급 맥락을 인코딩하여 암시적 엔티티 관계를 포착하는 언급 임베딩을 생성한다.
• 질의를 조건으로 하여 아웃바운드 문서의 전체 텍스트를 BERT로 인코딩하여 비구조적 사실을 위한 문서 임베딩을 생성한다.
• 학습 가능한 가중치를 사용해 언급 임베딩과 문서 임베딩을 융합하여 검색을 위한 통합된 스킴 표현을 생성한다.
• 관련 문장 수준의 증거에 집중함으로써 검색 성능을 향상시키기 위해 보조적인 지원 문장 예측 작업을 도입한다.
• 학습 가능한 파rameter를 가진 가중치 융합 메커니즘을 적용하여 검색 과정에서 구조적 지식과 비구조적 지식의 영향을 균형 있게 조절한다.

실험 결과

연구 질문

• RQ1 구조적 하이퍼링크 관계와 비구조적 문서 내용을 융합하면 위키백과에서 다중 스킴 증거 검색 성능이 향상되는가?
• RQ2 명시적 지식 그래프에 의존하지 않고 언급 임베딩이 암시적 엔티티 관계를 얼마나 잘 포착할 수 있는가?
• RQ3 구조적 지식와 비구조적 지식를 융합한 방법이 단일 모odal을 사용하는 방법보다 얼마나 더 뛰어난 성능을 보이는가?
• RQ4 모델의 주의 가중치는 각 스킴 선택에서 어떤 지식 유형(관계 또는 사실)이 영향을 미치는지 설명 가능한 통찰을 제공할 수 있는가?

주요 결과

• HopRetriever는 HotpotQA 테스트 세트에서 86.89%의 recall@1을 달성하여 이전에 발표된 증거 검색 방법들을 크게 능가한다.
• 구조적 지식(언급 임베딩을 통한)을 제거하면 recall@1이 76.35%로 감소하여 다중 스킴 추론에서 엔티티 관계의 핵심적 역할을 입증한다.
• 모델의 주의 가중치는 맥락에 따라 언급 임베딩과 문서 임베딩 간에 동적으로 이동하며, 탐색 작업에서 정확도 96.42%로 올바른 스킴과 혼란스러운 스킴을 구분할 수 있다.
• 제거 실험 결과, 동일 가중치 융합보다 가중치 융합 메커니즘이 성능 향상에 기여하며, 보조 문장 예측 작업은 검색 성능에 부정적 영향을 미치지 않는다.
• 모호한 관계가 있는 경우(예: 동일한 관계를 가진 여러 엔티티), '제1차 세계 대전'과 '제2차 세계 대전'의 사례에서 볼 수 있듯이, 모델은 보다 정확한 스킴 선택을 위해 문서 임베딩에 더 의존한다.
• 각 임베딩 유형의 기여도를 시각화함으로써 설명 가능한 증거 경로를 제공하여 각 스킴 선택에서 어떤 지식 소스가 영향을 미치는지 분석할 수 있다.