[논문 리뷰] Differentiable Reasoning over a Virtual Knowledge Base

Bhuwan Dhingra, Manzil Zaheer외 4명|ArXiv.org|2020. 02. 25.

Topic Modeling참고 문헌 36인용 수 44

한 줄 요약

DrKIT는 다중 홉 추론을 수행하는 differentiable 모듈을 도입하며, 암호화된 텍스트 코퍼스를 가상 KB로 처리하고, 희소 TFIDF 확장과 MIPS를 사용하여 증거를 검색하고 구성하는 소프트 멀티홉 추론 프로세스를 사용합니다.

ABSTRACT

We consider the task of answering complex multi-hop questions using a corpus as a virtual knowledge base (KB). In particular, we describe a neural module, DrKIT, that traverses textual data like a KB, softly following paths of relations between mentions of entities in the corpus. At each step the module uses a combination of sparse-matrix TFIDF indices and a maximum inner product search (MIPS) on a special index of contextual representations of the mentions. This module is differentiable, so the full system can be trained end-to-end using gradient based methods, starting from natural language inputs. We also describe a pretraining scheme for the contextual representation encoder by generating hard negative examples using existing knowledge bases. We show that DrKIT improves accuracy by 9 points on 3-hop questions in the MetaQA dataset, cutting the gap between text-based and KB-based state-of-the-art by 70%. On HotpotQA, DrKIT leads to a 10% improvement over a BERT-based re-ranking approach to retrieving the relevant passages required to answer a question. DrKIT is also very efficient, processing 10-100x more queries per second than existing multi-hop systems.

연구 동기 및 목표

• 텍스트 코퍼스만 가상 KB로 사용할 때 복합 멀티홉 질문에 대한 답변의 동기를 부여합니다.
• 인덱싱된 언급을 통해 소프트 관계 경로를 확장하고 따르는 엔드-투-엔드 차별화 모듈(DrKIT)을 개발합니다.
• 희소 표현과 MIPS 기반 검색을 통해 효율적인 멀티홉 추론을 달성하고, 언급 인코더의 사전 학습을 수행합니다.
• 메타QA, 위키데이터 슬롯 채우기, HotpotQA에서 텍스트 전용 및 KB 기반 기준선보다 정확도와 속도를 향상시켰습니다.

제안 방법

• 다중 홉 추론 프로세스를 다음과 같이 모델링합니다: 입력 엔티티 집합을 동시 발생하는 언급으로 확장하고, 학습된 관련도 점수로 언급을 필터링하며, 새로운 엔티티 집합으로 집계합니다; 여러 홉에 대해 반복합니다.
• 확장과 집계를 차별화 가능한 희소 행렬 연산과 상위-K 하드 선택의 언급으로 표현하여 엔드-투-엔드 학습이 가능하도록 합니다.
• Z_t = Z_{t-1} . follow(R)를 A_E->M, top-K 필터링 T_K(s_t(.)), 그리고 B_M->E 집계를 통해 차별화 가능한 텍스트 팔로우 연산으로 사용합니다.
• KB에서 슬롯 채우기 스타일 QA를 사용한 원거리 감독으로 언급 인코더 f(m)을 사전 학습시키고, 그런 다음 언급 임베딩을 인덱싱하고 고정된 임베딩으로 QA 작업을 학습합니다.
• BERT 기반 표현으로 언급을 인코딩하고, Transformer로 질문을 인코딩하며, MIPS 쿼리 g_t(q,z_{t-1})를 생성하여 상위-K 언급을 효율적으로 검색합니다(시간 복잡도 O(Kp polylog|M|)).
• 연약한 희소 표현과 상위-K 언급 검색을 통해 홉 간 활성 엔티티 집합을 작게 유지하며 효율성을 유지합니다.

실험 결과

연구 질문

• RQ1 대형 텍스트 코퍼스를 차별화 가능한 추론을 통해 멀티홉 QA에 효과적으로 가상 KB로 사용할 수 있는가?
• RQ2 인덱싱된 텍스트에 대한 희소하고 차별화 가능한 멀티홉 모듈이 효율적인 추론으로 경쟁력 있는 정확도를 달성하는가?
• RQ3 성능 측면에서 TFIDF 공기-출현 확장과 언급 표현의 사전 학습은 얼마나 중요한가?
• RQ4 엔드-투-엔드 학습 versus 연쇄적이거나 KB 감독 설정이 멀티홉 QA 작업에 미치는 영향은 무엇인가?

주요 결과

• DrKIT은 메타QA 2홉 정확도를 이전의 텍스트 기반 시스템 대비 5포인트 향상시키고 3홉에서는 9포인트 향상시켰다.
• DrKIT은 메타QA에서 KB 기반 시스템과의 차이를 2홉에서 30%, 3홉에서 70% 감소시켰다.
• 위키데이터 슬롯 채우기에서 DrKIT은 DrQA 및 PIQA 기준선을 능가하며, 특히 엔드-투-엔드 학습에서 강점이 있다.
• HotpotQA에서 DrKIT은 유사한 다중 홉 시스템보다 10배 빠르며 BERT 기반 재랭킹보다 검색 품질을 향상시켰다.
• KB 유래의 원거리 감독에서 언급 인코더를 사전 학습시키는 것은 BERT 표현만 사용하는 것보다 상당한 이점을 제공한다.
• 효율적인 희소 행렬 구현과 MIPS를 통한 상위-K 언급 검색은 대형 코퍼스에 대한 확장을 가능하게 하며 추론 속도를 10~100배까지 가속한다.