[논문 리뷰] LexMAE: Lexicon-Bottlenecked Pretraining for Large-Scale Retrieval

Tao Shen, Xiubo Geng외 6명|arXiv (Cornell University)|2022. 08. 31.

Multimodal Machine Learning Applications인용 수 14

한 줄 요약

LexMAE는 마스크된 언어 모델링과 어휘 가중 검색 간 격차를 해소하기 위해 어휘-구속된 마스크된 오토인코더를 도입하여 연속적인 단어집-백업(continuous bag-of-words) 구속을 통해 중요도 인식 어휘 표현을 학습하는 새로운 사전학습 프레임워크를 제안한다. BEIR에서 최고의 제로샷 전이 성능을 달성하고, CPU에서 45.8 QPS의 높은 효율성과 함께 MS-Marco에서 42.6%의 MRR@10 성능을 기록하여 높은 효율성과 효과성을 입증한다.

ABSTRACT

In large-scale retrieval, the lexicon-weighting paradigm, learning weighted sparse representations in vocabulary space, has shown promising results with high quality and low latency. Despite it deeply exploiting the lexicon-representing capability of pre-trained language models, a crucial gap remains between language modeling and lexicon-weighting retrieval -- the former preferring certain or low-entropy words whereas the latter favoring pivot or high-entropy words -- becoming the main barrier to lexicon-weighting performance for large-scale retrieval. To bridge this gap, we propose a brand-new pre-training framework, lexicon-bottlenecked masked autoencoder (LexMAE), to learn importance-aware lexicon representations. Essentially, we present a lexicon-bottlenecked module between a normal language modeling encoder and a weakened decoder, where a continuous bag-of-words bottleneck is constructed to learn a lexicon-importance distribution in an unsupervised fashion. The pre-trained LexMAE is readily transferred to the lexicon-weighting retrieval via fine-tuning. On the ad-hoc retrieval benchmark, MS-Marco, it achieves 42.6% MRR@10 with 45.8 QPS for the passage dataset and 44.4% MRR@100 with 134.8 QPS for the document dataset, by a CPU machine. And LexMAE shows state-of-the-art zero-shot transfer capability on BEIR benchmark with 12 datasets.

연구 동기 및 목표

• 마스크된 언어 모델링(MLM)과 어휘 가중 검색 간 목표 불일치 문제를 해결하기 위해, MLM은 저엔트로피 단어를 선호하지만 검색은 고엔트로피 핵심어(term)에 유리하기 때문이다.
• 에코더와 디코더 사이에 연속적인 단어집-백업(CBoW) 구속을 도입하여, 비지도 학습 방식으로 중요도 인식 어휘 표현을 학습하기 위해.
• 고효율성과 저지연 시간을 확보하면서도, 대규모 검색 작업에 대해 효과적인 제로샷 및 피지테이닝 전이를 가능하게 하기 위해.
• 사전학습과 최종 검색 목표 간 일致성을 향상시키기 위해 어휘 공간 표현을 관련성 중심 의미론과 일치시키기 위해.

제안 방법

• 어휘-구속된 마스크된 오토인코더(LexMAE) 아키텍처를 제안하며, 언어 모델링 에코더, 어휘-구속 모듈, 약화된 디코더로 구성된다.
• 어휘-구속 모듈은 에코더의 언어 모델링 로짓에 대해 최대 풀링과 정규화를 적용하여 어휘 중요도 분포를 유도하고, 이를 연속적인 단어집-백업(CBoW) 구속의 가중치로 사용한다.
• CBoW 구속에 포화 함수 기반 L1 노름(log(1 + ReLU))을 적용하여 학습을 안정화하고 일반화 성능을 향상시킨다.
• 이중 목표를 사용하여 모델을 사전학습한다: 에코더에서는 마스크된 언어 모델링, 디코더에서는 약화된 재구성 목표이며, 독립적 마스크 전략과 에코더 30%, 디코더 50%의 마스크 비율을 사용한다.
• 어휘 공간 내 희소하고 가중된 표현을 사용하여 어휘 가중 검색을 위해 엔드 투 엔드로 사전학습 모델을 피지테이닝한다.
• 아키텍처 분석에는 단어 임베딩에 대한 기울기 흐름 비활성화, LM 헤드 공유 또는 별도 헤드 추가, 마스크 전략 및 비율 변경 등이 포함된다.

실험 결과

연구 질문

• RQ1 중요도 인식 어휘 표현을 학습하는 사전학습 프레임워크가 어휘 가중 검색 성능을 향상시킬 수 있는가?
• RQ2 마스크된 언어 모델링과 관련성 중심 어휘 가중 간 목표 불일치 문제를 어떻게 완화할 수 있는가?
• RQ3 CBoW 구속을 통한 어휘 중요도 분포의 비지도 학습이 제로샷 및 피지테이닝 검색 성능 향상에 기여하는가?
• RQ4 구속 유형, 마스크 전략, 파라미터 공유 등과 같은 아키텍처 선택이 LexMAE의 검색 효율성과 효율성에 가장 크게 영향을 주는가?

주요 결과

• LexMAE는 CPU에서 45.8 QPS의 높은 효율성과 함께 MS-Marco 파assage 검색 벤치마크에서 42.6%의 MRR@10 성능을 달성하여 뛰어난 효율성과 높은 성능을 입증한다.
• MS-Marco 문서 데이터셋에서는 44.4%의 MRR@100과 134.8 QPS를 기록하여 강력한 확장성과 저지연 시간 추론 성능을 보였다.
• BEIR 벤치마크의 12개 데이터셋에서 LexMAE는 사전학습 후 피지테이닝 없이도 새로운 제로샷 전이 최고 성능을 수립하였다.
• 포화 기반 L1 노름(log(1 + ReLU))을 사용한 CBoW 구속은, 밀집된 [CLS] 또는 무구속 기반 베이스라인 대비 더 나은 일반화 성능을 보였다.
• 분석 결과, 단어 임베딩 매트릭스에 기울기 흐름을 활성화하면 성능 저하가 발생하며, LM 헤드 공유 또는 추가 헤드 추가는 미미한 영향을 미친다.
• LexMAE는 마스크 전략 및 비율을 포함한 다양한 아키텍처 및 하이퍼파라미터 설정에 대해 강건하며, 여러 피지테이닝 단계에서 일관된 성능 향상이 관찰되었다.