[논문 리뷰] SPARTA: Efficient Open-Domain Question Answering via Sparse Transformer Matching Retrieval

Tiancheng Zhao, Xiaopeng Lu외 1명|arXiv (Cornell University)|2020. 09. 28.

Topic Modeling참고 문헌 51인용 수 4

한 줄 요약

SPARTA는 질문과 답변 토큰 간의 토큰 수준 상호작용을 모델링하는 희소 신경 검색 방법을 도입하여, 효율적인 역인verted 인덱스 기반 검색을 가능하게 한다. 이는 영어 및 중국어 분야에서 15개 작업 전반에서 최신 기준 성능을 달성하며, 밀도 벡터 방법에 비해 뛰어난 정확도, 해석 가능성, 효율성을 제공한다.

ABSTRACT

We introduce SPARTA, a novel neural retrieval method that shows great promise in performance, generalization, and interpretability for open-domain question answering. Unlike many neural ranking methods that use dense vector nearest neighbor search, SPARTA learns a sparse representation that can be efficiently implemented as an Inverted Index. The resulting representation enables scalable neural retrieval that does not require expensive approximate vector search and leads to better performance than its dense counterpart. We validated our approaches on 4 open-domain question answering (OpenQA) tasks and 11 retrieval question answering (ReQA) tasks. SPARTA achieves new state-of-the-art results across a variety of open-domain question answering tasks in both English and Chinese datasets, including open SQuAD, Natuarl Question, CMRC and etc. Analysis also confirms that the proposed method creates human interpretable representation and allows flexible control over the trade-off between performance and efficiency.

연구 동기 및 목표

• 이중 인코더 모델이 오픈도메인 질의응답에서 약한 질문-답변 상호작용과 근사 최근접 이웃 검색에 의존하는 한계를 해결하기 위해.
• 비용이 많이 들지 않고 GPU 의존도 없이도 빠르고 확장 가능하며 해석 가능한 랭킹을 가능하게 하는 신경 검색 방법을 개발하기 위해.
• 희소성 덕분에 효율성과 정확도 사이의 탄력적인 트레이드오프를 제공하면서 저자원 도메인에서의 성능을 향상시키기 위해.
• 토큰 수준의 상호작용이 오픈도메인 QA에서 시퀀스 수준 매칭을 능가할 수 있는지 탐색하기 위해.
• 희소하고 의미 있는 표현을 통해 높은 정확도와 인간이 해석할 수 있는 검색 시스템을 구축하기 위해.

제안 방법

• SPARTA는 질문 토큰과 답변 토큰 간의 토큰 수준 어텐션을 계산하는 트랜스포머 기반 모델을 사용하여 답변 문단에 대한 희소 표현을 학습한다.
• 모델은 각 답변 토큰 $ t $ 에 대해 관련도 점수 $ f(t, (a,c)) $ 를 계산하여 질문과의 매칭에 기여도를 측정한다.
• 결과로 생성된 희소 벡터는 역인verted 인덱스(예: Lucene)에 저장되어 근사 최근접 이웃 검색 없이도 빠른 CPU 기반 검색을 가능하게 한다.
• 모델은 사전 학습된 언어 모델을 사용하여 세계 지식을 통합함으로써, 답변에 존재하지 않는 동의어나 관련 용어를 예측할 수 있다.
• 희소성은 $ f(t, (a,c)) $ 점수 중 상위-K 항목만 유지하여 메모리 효율적인 배포를 가능하게 한다.
• 이 프레임워크는 어휘 수준(OpenQA)과 문장 수준(ReQA)의 답변 검색을 모두 지원하며, 검색 목표에 대해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 오픈도메인 질의응답에서 토큰 수준의 질문-답변 상호작용이 시퀀스 수준 매칭을 능가할 수 있는가?
• RQ2 희소 신경 표현이 근사 최근접 이웃 검색 없이도 높은 성능과 효율적인 CPU 기반 검색을 가능하게 할 수 있는가?
• RQ3 제안된 방법이 저자원 도메인에서 밀도 기반 기준보다 더 잘 일반화되는가?
• RQ4 희소성은 성능과 메모리 효율성의 균형을 맞추는 데 얼마나 효과적으로 활용될 수 있는가?
• RQ5 인간의 검토를 통해 희소 표현이 해석 가능하고 의미적으로 유의미하게 만들 수 있는가?

주요 결과

• SPARTA는 SQuAD에서 79.0 MRR, NQ에서 75.8 MRR를 기록하여 이와 같은 검색 기반 QA 작업에서 모든 이전 방법을 능가하는 새로운 최고 성능을 달성했다.
• 단지 상위 50개 텀만 사용해도 SPARTA는 SQuAD에서 69.5 MRR를 기록했으며, Poly-Encoders의 메모리 사용량의 1.6%에 불과한 공간에서 모든 베이스라인을 능가했다.
• 더 도전적인 NQ 데이터셋에서는 상위 1000개 텀을 사용해 SPARTA가 75.5 MRR를 기록했으며, 최고 성능을 낸 모델들과 매우 유사한 성능을 보였다.
• 인간 평가 결과, SPARTA의 상위 텀들이 의미적으로 유의미한 것으로 확인되었으며, '유타'처럼 답변에 존재하지 않지만 관련 개념인 키워드나 동의어를 포함했다.
• 저자원 도메인에서도 잘 일반화되어 있으며, 고전적 정보 검색 및 신경 기반 베이스라인을 모두 능가했다.
• 희소 표현 덕분에 성능과 효율성 사이의 탄력적인 트레이드오프가 가능했으며, 낮은 희소성 수준(예: 상위 50개 텀)에서도 정확도 저하가 최소한이었다.