[논문 리뷰] A Memory Efficient Baseline for Open Domain Question Answering

Gautier Izacard, Fabio Petroni외 4명|arXiv (Cornell University)|2020. 12. 30.

Topic Modeling참고 문헌 22인용 수 29

한 줄 요약

이 논문은 차원 감소, 벡터 양자화, 및 파assage 필터링을 조합하여 밀도 레트리버-리더 시스템을 압축함으로써 개방형 도메인 질의응답을 위한 메모리 효율적인 베이스라인을 제안한다. 6GB 미만의 메모리로도 NaturalQuestions에서 53.6% EM, TriviaQA에서 71.3%를 기록하여 높은 정확도를 달성할 수 있음을 보여주며, 인덱스 크기를 크게 줄임에도 불구하고 경쟁 가능한 성능을 확보할 수 있음을 입증한다.

ABSTRACT

Recently, retrieval systems based on dense representations have led to important improvements in open-domain question answering, and related tasks. While very effective, this approach is also memory intensive, as the dense vectors for the whole knowledge source need to be kept in memory. In this paper, we study how the memory footprint of dense retriever-reader systems can be reduced. We consider three strategies to reduce the index size: dimension reduction, vector quantization and passage filtering. We evaluate our approach on two question answering benchmarks: TriviaQA and NaturalQuestions, showing that it is possible to get competitive systems using less than 6Gb of memory.

연구 동기 및 목표

• 개방형 도메인 질의응답을 위한 밀도 레트리버-리더 시스템의 메모리 사용량을 크게 줄이되 성능 저하를 최소화한다.
• 차원 감소, 벡터 양자화, 및 파assage 필터링이 밀도 레트리버 인덱스 압축 전략으로서 효과적인지 조사한다.
• 6GB 미만의 메모리로도 경쟁 가능한 성능을 달성할 수 있음을 입증한다. 이는 자원 제약이 있는 하드웨어에의 배포 가능성을 보여준다.
• 표준 벤치마크인 TriviaQA와 NaturalQuestions에서 다수의 압축 기법이 상호 보완적인지 평가한다.

제안 방법

• 질의 및 위키백과 파assage를 BERT-base 기반의 밀도 레트리버를 사용해 d차원 벡터로 임bedding한다.
• 8비트 부분벡터를 사용한 제품 양자화를 적용하여 밀도 벡터 인덱스를 압축함으로써, 벡터 이산화를 통한 메모리 사용 감소를 달성한다.
• 임베딩 차원을 256에서 128로 감소시켜 인덱스 크기와 계산 비용을 줄인다.
• 제목과 분류 특징을 기반으로 하위 유용성의 위키백과 기사들을 제거하는 자기학습 선형 분류기를 사용해 파assage 필터링을 구현한다.
• 추론 시 효율적인 최대 내적 곱 검색을 위해 Faiss를 사용하여 압축된 인덱스에서 빠른 검색을 가능하게 한다.
• 질의당 최대 100개의 검색된 파assage를 활용해, T5-base에서 초기화된 Fusion-in-Decoder 아키텍처를 사용해 리더 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 차원 감소와 벡터 양자화를 어떻게 조합하여 인덱스 크기를 줄일 수 있으며, 성능 저하를 최소화할 수 있는가?
• RQ2 제목과 분류 특징을 기반으로 한 파assage 필터링은 저유용성 위키백과 기사들을 얼마나 효과적으로 제거할 수 있으며, 검색 품질은 유지되는가?
• RQ3 압축된 시스템이 TriviaQA 및 NaturalQuestions와 같은 표준 벤치마크에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 다양한 압축 기법을 적용할 경우, 인덱스 크기와 종단 간 QA 성능 간의 상호 교환 관계는 어떠한가?

주요 결과

• 128D로의 차원 감소와 64개의 부분벡터, 각 부분벡터당 8비트의 제품 양자화를 조합함으로써 인덱스 크기를 1.67GB로 줄였고, NaturalQuestions에서는 EM이 0.2% 감소하고 TriviaQA에서는 1.1% 감소하는 데 그쳤다.
• 파assage 필터링을 통해 위키백과 기사의 상당한 비율을 제거할 수 있었고, 인덱스 크기를 2600만 개의 파assage에서 1000만 개로 줄였지만 뛰어난 성능을 유지했다.
• 2.1GB의 인덱스를 가진 압축된 시스템이 NaturalQuestions에서 44.0% EM, TriviaQA에서 56.8%를 기록하여, 상위 성능 베이스라인보다 훨씬 작음에도 불구하고 경쟁 가능한 성능을 확보했다.
• 5.1GB의 압축된 시스템이 NaturalQuestions에서 53.6% EM, TriviaQA에서 71.3%를 기록하여, 상위 성능 모델의 54.7% 및 73.3%에 매우 가까운 성능을 달성했다.
• 차원 감소, 양자화, 필터링의 세 가지 기법을 모두 조합할 경우 상호 보완적이며, 상당한 메모리 절감 효과를 얻을 수 있었고, 정확도 손실는 최소화되었다.
• 최종적으로 압축된 모델들은 6GB 이내의 메모리 사용량을 확보하여, 대규모 GPU 메모리가 필요 없이도 표준 하드웨어에서 고성능의 개방형 도메인 QA 시스템을 구동할 수 있음을 입증했다.