[논문 리뷰] Efficient Passage Retrieval with Hashing for Open-domain Question Answering

Ikuya Yamada, Akari Asai외 1명|arXiv (Cornell University)|2021. 06. 02.

Topic Modeling참고 문헌 12인용 수 9

한 줄 요약

이 논문은 Dense Passage Retriever(DPR)의 밀도 벡터 색인을 엔드 투 엔드 학습-해싱을 통해 압축된 이진 코드로 대체하는 메모리 효율적인 신경 검색 모델인 Binary Passage Retriever(BPR)를 제안한다. BPR는 65GB에서 2GB로 색인 크기를 97% 감소시켰고, 더 빠른 쿼리 추론을 구현하면서도 SOTA 수준의 개방형 QA 정확도를 달성한다. 이는 해밍 거리 기반 후보 생성과 내적 기반 재정렬을 동시에 고려한 다중목표 학습을 통해 달성된다.

ABSTRACT

Most state-of-the-art open-domain question answering systems use a neural retrieval model to encode passages into continuous vectors and extract them from a knowledge source. However, such retrieval models often require large memory to run because of the massive size of their passage index. In this paper, we introduce Binary Passage Retriever (BPR), a memory-efficient neural retrieval model that integrates a learning-to-hash technique into the state-of-the-art Dense Passage Retriever (DPR) to represent the passage index using compact binary codes rather than continuous vectors. BPR is trained with a multi-task objective over two tasks: efficient candidate generation based on binary codes and accurate reranking based on continuous vectors. Compared with DPR, BPR substantially reduces the memory cost from 65GB to 2GB without a loss of accuracy on two standard open-domain question answering benchmarks: Natural Questions and TriviaQA. Our code and trained models are available at https://github.com/studio-ousia/bpr.

연구 동기 및 목표

• 2100만 개의 위키백과 문단을 색인하기 위해 65GB가 필요한 DPR와 같은 밀도 기반 문단 검색 모델의 높은 메모리 비용을 줄이기 위해.
• PubMed 및 Common Crawl와 같은 큰 지식 기반에서 효율적이고 확장 가능한 개방형 질문-답변를 가능하게 하기 위해.
• 이진 코드를 사용해 문단 색인을 극적으로 압축하면서도 높은 검색 및 QA 정확도를 유지하기 위해.
• 빠른 해밍 거리 기반 후보 생성과 정확한 연속 벡터 기반 재정렬을 조합한 이중 단계 검색 파이프라인을 개발하기 위해.
• 후행적 양자화 기법들과는 달리, 엔드 투 엔드 학습-해싱이 정확도 저하 없이 검색 색인을 압축할 수 있음을 입증하기 위해.

제안 방법

• BPR는 백프로파게이션 중 스케일드 탄젠트 함수를 사용해 부호 함수를 근사함으로써 연속된 문단 임베딩을 압축된 이진 코드로 해싱하는 것을 학습한다.
• 모델은 두 가지 목표를 결합한 다중목표 손실을 사용한다: (1) 이진 코드를 이용한 해밍 거리 기반 후보 생성, (2) 연속 임베딩을 이용한 내적 기반 재정렬.
• 이진 코드는 연속 임베딩에 부호 함수를 적용하여 생성되며, 학습 시 비미분 가능 부호 함수는 스케일드 탄젠트 함수로 근사된다.
• 후보 생성은 효율적인 해밍 거리 계산을 사용한 선형 스캔 또는 증가하는 해밍 반경을 가진 해시 테이블 검색을 통해 수행된다.
• 검색 파이프라인은 두 단계로 구성된다: (1) 이진 코드를 이용한 빠른 후보 검색, (2) 연속 벡터를 이용한 정확한 재정렬.
• 모델은 동일한 데이터와 동일한 최적화 설정을 사용해 DPR와 동일한 독자 아키텍처를 사용해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 학습-해싱이 밀도 기반 문단 검색에 효과적으로 통합되어 정확도를 저하시키지 않고 색인 크기를 줄일 수 있는가?
• RQ2 이진 코드를 사용한 빠른 후보 생성과 연속 벡터를 사용한 정확한 재정렬을 조합한 이중 단계 검색 파이프라인은 전체 밀도 기반 검색에 비해 성능을 유지하거나 향상시키는가?
• RQ3 후행적 양자화 기법들인 LSH와 제품 양자화와 비교해 엔드 투 엔드로 해시 함수와 인코더를 훈련하는 것이 정확도와 효율성 측면에서 어떻게 다른가?
• RQ4 밀도 기반 검색의 메모리 비용을 65GB에서 5GB 이하로 줄일 수 있는가, 동시에 SOTA 수준의 개방형 QA 성능을 유지할 수 있는가?
• RQ5 이진 코드와 연속 벡터를 사용할 때 검색 속도와 정확도 사이의 상충 관계는 어떻게 되는가?

주요 결과

• BPR는 문단 색인 크기를 DPR의 65GB에서 2GB로 줄여 메모리 사용량을 97% 감소시켰다.
• Natural Questions 및 TriviaQA 벤치마크에서 BPR는 DPR의 상위 20개 정확도와 정확한 일치(EM) 정확도를 유지하거나 略로 초월했다.
• BPR는 해시 테이블 검색이 선형 스캔보다 효율적이며 HNSW 기반 검색보다 훨씬 빠른 성능을 보여, DPR보다 더 빠른 쿼리 추론을 달성했다.
• 후행적 양자화 기법들(LSH 및 제품 양자화)은 BPR에 비해 성능이 떨어졌으며, BPR는 엔드 투 엔드 훈련을 통해 정확도를 유지했다.
• BPR에서 재정렬 헤드를 비활성화하면 성능에 심각한 하락이 발생하여 이중 단계 설계의 중요성을 확인했다.
• 향상된 ELECTRA-large 독자 모델을 사용할 경우, BPR는 FiD 모델을 제외한 모든 모델보다 뛰어난 EM 정확도를 달성했으며, 파arameter 수가 두 배 이상 많은 더 큰 FiD 모델을 뛰어넘었다.