[논문 리뷰] Real-Time Open-Domain Question Answering with Dense-Sparse Phrase Index

Minjoon Seo, Jinhyuk Lee외 4명|arXiv (Cornell University)|2019. 06. 13.

Topic Modeling참고 문헌 33인용 수 17

한 줄 요약

이 논문은 쿼리에 의존하지 않는 밀도-희소 어휘 표현 인덱싱을 사용하여 실시간으로 작동하는 오픈도메인 질의응답 시스템인 DenSPI를 소개한다. 밀도 벡터와 희소 벡터를 함께 사용해 어휘 표현을 인코딩하고 사전에 인덱싱함으로써 DenSPI는 CPU에서 DrQA 대비 58배 빠른 종단간 추론 성능을 달성하면서도 SQuAD-Open에서 최신 기준 성능을 유지한다. 이는 계산 비용이 6,000배 감소하고 정확도 지표인 정확매칭 점수는 6.4% 향상된 결과를 얻었다.

ABSTRACT

Existing open-domain question answering (QA) models are not suitable for real-time usage because they need to process several long documents on-demand for every input query. In this paper, we introduce the query-agnostic indexable representation of document phrases that can drastically speed up open-domain QA and also allows us to reach long-tail targets. In particular, our dense-sparse phrase encoding effectively captures syntactic, semantic, and lexical information of the phrases and eliminates the pipeline filtering of context documents. Leveraging optimization strategies, our model can be trained in a single 4-GPU server and serve entire Wikipedia (up to 60 billion phrases) under 2TB with CPUs only. Our experiments on SQuAD-Open show that our model is more accurate than DrQA (Chen et al., 2017) with 6000x reduced computational cost, which translates into at least 58x faster end-to-end inference benchmark on CPUs.

연구 동기 및 목표

• 기존 오픈도메인 QA 시스템이 매번 질의마다 문서를 다시 처리함으로써 발생하는 높은 추론 지연 문제를 해결하기 위해.
• 질의와 독립적으로 문서 어휘 표현을 사전에 인덱싱하여 실시간이고 확장 가능한 질의응답을 가능하게 하기 위해.
• 밀도 기반 의미적 표현과 희소 기반 어휘적 표현을 융합하여 오픈도메인 QA의 검색 다양성과 정확도를 향상시키기 위해.
• 표준 하드웨어에서 대규모 어휘 인덱스의 학습 및 배포 시 계산 비용과 메모리 사용량을 줄이기 위해.
• 최소한의 지연 시간으로 SQuAD-Open과 같은 오픈도메인 벤치마크에서 높은 성능을 달성하기 위해.

제안 방법

• 맥락 기반 밀도 벡터(예: BERT 기반)와 희소 어근 빈도 벡터를 융합한 밀도-희소 어휘 표현 인코딩 기법을 제안하여 의미적, 문법적, 어휘적 정보를 모두 포괄한다.
• 어휘 표현의 시작 및 끝 토큰 위치를 사용해 문서 어휘를 고정된 표현으로 인코딩함으로써 사전 인덱싱과 빠른 검색을 가능하게 한다.
• 추론 시 주어진 질의에 대해 공유된 임bedding 공간에서 내적 곱 검색을 통해 가장 관련성이 높은 어휘 표현을 검색한다.
• 웹 스케일 데이터에서 확장성 있고 실시간으로 작동하는 추론을 위해 인덱싱된 어휘 표현에 대해 근사 최근접 이웃 검색을 적용한다.
• 혼합 정밀도 학습 및 효율적인 데이터 로딩과 같은 최적화 전략을 적용하여 단일 4-GPU 서버(64GB RAM, 2TB SSD)에서 모델을 학습하고 배포한다.
• 희소 및 밀도 벡터 검색을 융합한 하이브리드 검색 전략(SFS + DFS)을 도입하여 커버리지와 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 쿼리에 의존하지 않는 어휘 표현 인덱싱 접근법이 오픈도메인 질의응답에서 추론 지연을 크게 줄일 수 있는가?
• RQ2 밀도 및 희소 어휘 표현을 융합함으로써 파ipel라인 기반 방법에 비해 검색 정확도와 다양성이 어떻게 향상되는가?
• RQ3 멀티 GPU나 고성능 인프라 없이도 표준 하드웨어에서 밀도-희소 어휘 인덱스를 효율적으로 학습하고 배포할 수 있는가?
• RQ4 하이브리드 밀도-희소 표현에 대해 근사 최근접 이웃 검색을 사용할 경우 정확도와 속도 사이의 상호 상충 관계는 어떻게 나타나는가?
• RQ5 DrQA와 같은 강력한 베이스라인에 비해 모델은 장기 꼬리 및 분포 외 질의에서 어떻게 성능을 발휘하는가?

주요 결과

• DenSPI는 디스크 액세스 시간까지 포함한 CPU 환경에서 DrQA 대비 58배 더 빠른 종단간 추론 성능을 달성한다. 이는 사전에 인덱싱된 어휘 표현 덕분이다.
• 통제 조건 하에서 DenSPI는 DrQA 대비 계산 비용을 6,000배 감소시키면서도 정확도를 유지하거나 향상시켰다.
• DenSPI -Hybrid는 SQuAD-Open에서 DrQA 대비 정확매칭 점수를 6.4% 향상시켰으며, 최적 설정에서 F1 점수는 6.6% 향상되었다.
• DenSPI는 평균적으로 질의당 817개의 고유 문서에서 답변을 검색하는 데 반해, DrQA는 단지 5개의 문서에서만 검색하므로 검색 다양성이 크게 향상되었다.
• 희소 벡터를 제거할 경우 F1 점수가 19.6% 감소하여, 이는 희소 벡터가 의미적으로 유사하지만 어휘적으로 다를 수 있는 어휘 표현을 구분하는 데 핵심적인 역할을 한다는 것을 보여준다.
• 정성적 분석 결과 DenSPI는 어휘적 겹침이 낮은 경우에도 여러 문서에서 정확한 답변을 성공적으로 검색했으며, 어려운 오픈도메인 케이스에서 DrQA를 능가하는 성능을 보였다.