[논문 리뷰] SimLM: Pre-training with Representation Bottleneck for Dense Passage Retrieval

Liang Wang, Nan Yang외 6명|arXiv (Cornell University)|2022. 07. 06.

Topic Modeling인용 수 6

한 줄 요약

SimLM은 대체 언어 모델링을 사용한 표현 블로킹 아키텍처를 활용해 밀도 높은 파assage 검색을 위한 단순하면서도 효과적인 사전 훈련 방법을 제안한다. [CLS] 토큰이 재구성하기 위해 필수적인 파assage 의미를 압축하도록 유도함으로써, MS-MARCO와 NQ에서 최신 기준 성능을 달성하며, 저장 비용이 더 낮은 다중 벡터 모델인 ColBERTv2조차도 능가한다.

ABSTRACT

In this paper, we propose SimLM (Similarity matching with Language Model pre-training), a simple yet effective pre-training method for dense passage retrieval. It employs a simple bottleneck architecture that learns to compress the passage information into a dense vector through self-supervised pre-training. We use a replaced language modeling objective, which is inspired by ELECTRA, to improve the sample efficiency and reduce the mismatch of the input distribution between pre-training and fine-tuning. SimLM only requires access to unlabeled corpus, and is more broadly applicable when there are no labeled data or queries. We conduct experiments on several large-scale passage retrieval datasets, and show substantial improvements over strong baselines under various settings. Remarkably, SimLM even outperforms multi-vector approaches such as ColBERTv2 which incurs significantly more storage cost. Our code and model check points are available at https://github.com/microsoft/unilm/tree/master/simlm .

연구 동기 및 목표

• RoBERTa나 ELECTRA와 같은 모델이 정보 검색 작업에 잘 일반화되지 않는 점을 해결하기 위해, NLU 사전 훈련 벤치마크와 밀도 높은 검색 성능 사이의 일관성 문제를 해결한다.
• 마스킹 언어 모델링을 대체 언어 모델링 목표로 교체함으로써 사전 훈련과 미세 조정 간의 입력 분포 불일치를 줄이고, 샘플 효율성을 향상시킨다.
• 압축된 [CLS] 표현 블로킹을 통해 의미적 정보와 어휘적 정보를 모두 포괄하는 강력한 양방향 인코더 기반 검색 모델을 훈련한다.
• 라벨이 붙은 쿼리나 합성 데이터 없이도, 라벨이 없는 코퍼스만을 사용하여 효과적인 사전 훈련을 가능하게 한다.
• ColBERTv2와 같은 비용이 많이 드는 다중 벡터 모델과 비교해도 강력한 검색 성능를 달성하면서도, 저장 비용을 줄일 수 있다.

제안 방법

• SimLM은 [CLS] 토큰에서 표현 블로킹을 가지는 인코더-디코더 아키텍처를 사용하며, 인코더가 파assage 정보를 조밀한 벡터로 압축한다.
• ELECTRA에서 영감을 얻은 대체 언어 모델링 목표를 적용한다: 마스킹된 토큰들이 생성기에서 샘플된 토큰들로 대체되고, 디코더는 블로킹 표현에서 원래 토큰을 예측한다.
• 디코더의 용량이 제한되어 있어 정확한 재구성을 위해 블로킹 표현에 의존하게 되며, 이는 인코더가 풍부하고 압축된 표현을 학습하도록 유도한다.
• 사전 훈련 목표는 마스킹된 토큰들 뿐 아니라 모든 입력 토큰에 대해 손실를 계산하므로 샘플 효율성이 향상되고, 미세 조정 시 분포 이탈이 감소한다.
• 대조 학습이나 합성 쿼리가 전혀 필요 없으며, 사전 훈련에 단순 텍스트만 사용한다.
• 최종 모델은 표준 양방향 인코더 훈련 방식을 사용하여 라벨이 붙은 검색 데이터로 미세 조정되며, 음성 샘플링이 적용된다.

실험 결과

연구 질문

• RQ1 라벨이 없는 데이터가 필요 없이, 대체 언어 모델링을 사용한 단순한 표현 블로킹 사전 훈련이 밀도 높은 파assage 검색 성능 향상에 기여할 수 있는가?
• RQ2 마스킹 언어 모델링을 대체 언어 모델링 목표로 대체함으로써 입력 분포 불일치가 줄어들고 샘플 효율성이 향상되는가?
• RQ3 단일 [CLS] 벡터 블로킹이 다중 벡터 접근 방식을 능가할 정도로 모든 필수적인 파assage 의미를 효과적으로 포착할 수 있는가?
• RQ4 목표 코퍼스에서 사전 훈련하는 것과 비목표 또는 일반 코퍼스에서 사전 훈련하는 것 간의 최종 검색 성능에서의 차이가 무엇인가?
• RQ5 SimLM은 ColBERTv2와 같은 모델보다 더 낮은 저장 비용으로 최신 기준 성능을 달성할 수 있는가?

주요 결과

• SimLM은 MS-MARCO 코퍼스에서 사전 훈련된 경우, MS-MARCO 개발 세트에서 MRR@10이 38.0을 기록하며, BERT-base의 33.7보다 뚜렷한 향상을 이룬다.
• Natural Questions 데이터셋에서 SimLM은 미네드 하드 네거티브를 사용해 R@1k가 98.3을 달성하며, 베이스라인 BERT-base 모델을 능가한다.
• 표준 마스킹 언어 모델링보다 빠른 수렴 속도를 보이며, 단지 10,000 훈련 스텝 만으로도 경쟁 가능한 성능에 도달한다. 반면 MLM은 60,000 스텝이 넘어서도 서서히 향상된다.
• 목표 코퍼스에서의 사전 훈련이 가장 큰 성과를 내지만, 위키피디아나 MS-MARCO와 같은 비목표 코퍼스에서의 사전 훈련 역시 BERT-base 베이스라인을 초월한다.
• SimLM은 저장 비용이 훨씬 낮은 반면 ColBERTv2를 능가하는 검색 성능를 기록하며, 효율성과 효과성 모두 입증한다.
• 정성적 분석 결과, SimLM은 BERT-base가 실패하는 바탕이 되는 핵심 의도(예: 금융 쿼리에서의 전화번호 라우팅)를 더 잘 포착하고 의미적 일치도 높은 파assage를 검색한다.