[논문 리뷰] Learning Dense Representations of Phrases at Scale

Jinhyuk Lee, Mujeen Sung외 2명|arXiv (Cornell University)|2020. 12. 23.

Topic Modeling참고 문헌 45인용 수 5

한 줄 요약

이 논문은 독해 이해 작업에서의 지도를 활용하여 대규모로 밀도 있는 어휘 표현을 학습하는 DensePhrases를 소개한다. 이는 새로운 부정 샘플링(사전 배치 부정 샘플 포함)과 쿼리 측 최적화를 통해 향상된 방법이다. 이 방법은 추론 속도가 매우 빠르고 저장 공간을 80% 감소시켜 CPU에서 초당 10개 이상의 질문을 처리할 수 있으며, 개방형 질문-답변 시스템에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Open-domain question answering can be reformulated as a phrase retrieval problem, without the need for processing documents on-demand during inference (Seo et al., 2019). However, current phrase retrieval models heavily depend on sparse representations and still underperform retriever-reader approaches. In this work, we show for the first time that we can learn dense representations of phrases alone that achieve much stronger performance in open-domain QA. We present an effective method to learn phrase representations from the supervision of reading comprehension tasks, coupled with novel negative sampling methods. We also propose a query-side fine-tuning strategy, which can support transfer learning and reduce the discrepancy between training and inference. On five popular open-domain QA datasets, our model DensePhrases improves over previous phrase retrieval models by 15%-25% absolute accuracy and matches the performance of state-of-the-art retriever-reader models. Our model is easy to parallelize due to pure dense representations and processes more than 10 questions per second on CPUs. Finally, we directly use our pre-indexed dense phrase representations for two slot filling tasks, showing the promise of utilizing DensePhrases as a dense knowledge base for downstream tasks.

연구 동기 및 목표

• 개방형 질문-답변에 대해 희박한 표현에 의존하지 않는 완전히 밀도 있는 어휘 검색 시스템을 개발하는 것.
• 독해 이해 데이터셋에서의 지도와 데이터 증강을 활용하여 어휘 표현 학습을 향상시키는 것.
• 더 나은 일반화를 위해 훈련과 추론 간 분포 차이를 줄이기 위해 쿼리 측 최적화를 적용하는 것.
• CPU 하드웨어에서 낮은 저장 공간과 높은 처리량을 확보하는 효율적이고 확장 가능한 어휘 검색을 가능하게 하는 것.
• 슬롯 채우기와 같은 후속 작업에 대해 DensePhrases를 밀도 있는 지식 기반으로 활용할 수 있음을 보여주는 것.

제안 방법

• 독해 이해 데이터셋의 질문-답변 쌍을 사용하여 대조 학습을 통해 어휘 인코더를 훈련하고, 동일한 맥락에서 어휘 수준의 표현을 유도한다.
• 데이터 증강과 지식 정복을 통해 단일 문단 내 어휘 표현의 품질을 향상시킨다.
• 사전 배치 부정 샘플을 도입하여, 대용량 배치 학습이 필요 없이도 대조 학습을 향상시킨다.
• 배치 내에서의 부정 샘플을 기준으로 삼아, 긍정 및 부정 어휘 간의 구분 능력을 향상시킨다.
• 쿼리 측 최적화를 구현하여, 후속 QA 데이터셋에서 질문 인코더를 미세 조정함으로써 쿼리 표현을 사전에 인덱싱된 어휘 표현과 일치시킨다.
• 모든 어휘 표현을 위키백과에서 사전에 인덱싱하여 추론 시 효율적인 유사도 검색을 위한 밀도 있는 벡터 데이터베이스로 구성한다.

실험 결과

연구 질문

• RQ1 완전히 밀도 있는 어휘 표현이 희박 검색에 의존하지 않고도 개방형 질문-답변에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 특히 사전 배치 부정 샘플을 포함한 새로운 부정 샘플링 전략은 대규모 어휘 표현 학습을 얼마나 효과적으로 향상시키는가?
• RQ3 쿼리 측 최적화는 훈련과 추론 간 분포 차이를 얼마나 줄이고, 제로샷 일반화 성능을 얼마나 향상시키는가?
• RQ4 DensePhrases는 최소한의 미세 조정으로 슬롯 채우기와 같은 후속 작업에 대해 실용적인 밀도 있는 지식 기반으로 기능할 수 있는가?
• RQ5 희박한 표현 대신 밀도 있는 표현을 사용할 경우, 모델 성능, 저장 효율성, 추론 속도 사이의 상호 상충 관계는 어떠한가?

주요 결과

• DensePhrases는 Natural Questions와 SQuAD를 포함한 다섯 개인 개방형 QA 벤치마크에서 이전 어휘 검색 모델보다 15%–25%의 절대 정확도 향상을 달성한다.
• 최신 기술 수준의 검색-읽기 모델(DPR 및 REALM 등)과 동일한 성능을 보이며, Natural Questions에서 40.9%의 EM, SQuAD에서 38.0%의 성능을 기록한다.
• 영어 위키백과 전체의 저장 용량이 희박 표현을 제거함으로써 1.5TB에서 320GB로 79% 감소한다.
• CPU에서 초당 10개 이상의 질문을 처리할 수 있어 높은 추론 효율성을 입증한다.
• 쿼리 측 최적화 덕분에, 어휘 인코더가 해당 데이터셋에서 훈련되지 않은 외부 분포 데이터셋(TQA, WQ, TREC 등)에서도 성능이 15%–20% 향상된다.
• 훈련 데이터의 5%만을 사용해 미세 조정해도 두 개의 슬롯 채우기 작업에서 최신 기술 수준의 성능을 달성하여, 밀도 있는 지식 기반으로서의 실용성을 입증한다.