[논문 리뷰] Pruning the Index Contents for Memory Efficient Open-Domain QA

Martin Fajčík, Martin Dočekal외 2명|arXiv (Cornell University)|2021. 01. 01.

Topic Modeling참고 문헌 45인용 수 4

한 줄 요약

이 논문은 자연질문(NaturalQuestions)에서 최고 성능을 기록하면서도 6GB 도커 이미지에 포함될 수 있도록 메모리 효율적인 오픈도메인 QA 파이프라인인 R2-D2를 소개한다. 이는 이진 관련성 분류기 기반의 콘텐츠 기반 프루닝을 통해 거대 지식 기반을 92% 감소시켰으며, EM 정확도는 3% 감소에 그친다.

ABSTRACT

This work presents a novel pipeline that demonstrates what is achievable with a combined effort of state-of-the-art approaches. Specifically, it proposes the novel R2-D2 (Rank twice, reaD twice) pipeline composed of retriever, passage reranker, extractive reader, generative reader and a simple way to combine them. Furthermore, previous work often comes with a massive index of external documents that scales in the order of tens of GiB. This work presents a simple approach for pruning the contents of a massive index such that the open-domain QA system altogether with index, OS, and library components fits into 6GiB docker image while retaining only 8% of original index contents and losing only 3% EM accuracy.

연구 동기 및 목표

• 오픈도메인 QA 시스템의 높은 메모리 사용량 문제를 해결하기 위해, 이는 종종 거대 문서 색인을 위해 수십 GiB가 필요로 한다.
• 사실형 QA 작업에 비추어 볼 때, 색인된 패assing의 상당 부분이 중복되거나 관련성이 없는지 조사하기 위해.
• 색인 크기를 극적으로 줄이면서도 높은 성능을 유지하는 메모리 효율적인 QA 파이프라인을 개발하기 위해.
• 향후 연구를 위한 기반 시스템을 만들기 위해, 리트리버, 리랭커, 추출형 독자, 생성형 독자를 모두 포함한 벤치마크 시스템을 구축하기 위해.
• 패assing에 강한 사전 관련성 패턴이 존재하는 바탕으로, 현재의 오픈도메인 QA 데이터셋이 실제로 '오픈'하다고 할 수 있는지 탐구하기 위해.

제안 방법

• 질문 맥락 없이 제목과 콘텐츠를 연결하여 스코어를 매기는 양자화된 사전 관련성 분류기(프루너)를 제안하며, 금본 패assing 대비 비금본 패assing에 대해 이진 교차 엔트로피 손실을 사용한다.
• 임계값 τ를 적용하여 P(r|pi) > τ 인 패assing만 유지함으로써 색인 크기를 줄이고, 동시에 검색 품질을 유지한다.
• R2-D2 파이프라인을 도입: 리트리버 → 패assing 리랭킹 → 추출형 독자 → 생성형 독자, 이중 단계 집계를 포함한다.
• 세부적인 질문-패assing 상호작용을 위해 크로스-엔코더 트랜스포머를 사용하여 패assing 리랭킹을 수행한다.
• 목표 패assing을 독립적으로 최적화하는 새로운 추출형 독자 손실을 사용하여 스파니크 예측 성능을 향상시킨다.
• 추출형 독자와 생성형 독자 출력을 점수 집계를 통해 통합함으로써, 정확도와 견고성을 향상시킨다.

실험 결과

연구 질문

• RQ1 오픈도메인 QA 색인 내에서 많은 양의 패assing을 성능 저하 없이 프루닝할 수 있는가?
• RQ2 패assing 콘텐츠만으로도 QA 관련성에 대한 의미 있는 신호를 포착할 수 있는 사전 관련성 분류기가 가능한가?
• RQ3 오픈도메인 QA에서 경쟁적인 EM 정확도를 유지하면서 색인 크기를 얼마나 줄일 수 있는가?
• RQ4 추출형 독자와 생성형 독자를 모두 포함한 다단계 파이프라인은 단일 독자 시스템에 비해 성능을 얼마나 향상시키는가?
• RQ5 패assing에 강한 사전 관련성 패턴이 존재하는 것은 현재의 오픈도메인 QA 데이터셋이 상당히 '오픈'하지 않다는 것을 시사하는가?

주요 결과

• 제안된 프루닝 방법은 색인 크기를 92% 감소시켜 원래 패assing의 8%만 유지하면서도 자연질문에서 EM 정확도는 3% 감소에 그친다.
• 프루닝된 색인은 운영체제, 라이브러리, 모든 시스템 구성 요소를 포함해 6GB 도커 이미지에 완전히 수용되며, 표준 GPU에서의 배포를 가능하게 한다.
• R2-D2 파이프라인은 자연질문 벤치마크에서 최고 성능을 기록하며 이전 시스템을 초월한다.
• 효율적 QA 경연 대회에서 상위 성능을 기록하여, 시스템의 견고성과 효율성을 검증한다.
• Karpukhin 등(2020)의 패assing 임베딩은 프루너가 포착하는 사전 관련성 신호를 내재적으로 포함하고 있음을 발견하여, 방법의 일관성을 검증한다.
• 사전 관련성 분류기는 질문 맥락 없이도 관련 패assing을 성공적으로 식별하며, 이는 패assing 콘텐츠 자체가 QA 관련성에 대해 강력한 예측 신호를 지닌다는 것을 시사한다.