[논문 리뷰] B-PROP: Bootstrapped Pre-training with Representative Words Prediction for Ad-hoc Retrieval

Xinyu Ma, Jiafeng Guo외 4명|arXiv (Cornell University)|2021. 04. 20.

Topic Modeling참고 문헌 34인용 수 16

한 줄 요약

B-PROP는 광범위한 검색을 위한 부트스트랩된 사전학습 방법을 제안하며, PROP에서 사용하는 유니그램 언어 모델을 BERT 기반의 대비적 어휘 선택으로 대체하여 대표어 샘플링을 향상시킵니다. BERT의 자기주의 주의 메커니즘을 활용해 무작위와의 분산 정도를 측정함으로써 어휘의 정보성 수준을 평가함으로써, B-PROP는 여러 광범위 검색 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 제로샷 설정에서도 PROP 및 BM25를 능가합니다.

ABSTRACT

Pre-training and fine-tuning have achieved remarkable success in many downstream natural language processing (NLP) tasks. Recently, pre-training methods tailored for information retrieval (IR) have also been explored, and the latest success is the PROP method which has reached new SOTA on a variety of ad-hoc retrieval benchmarks. The basic idea of PROP is to construct the extit{representative words prediction} (ROP) task for pre-training inspired by the query likelihood model. Despite its exciting performance, the effectiveness of PROP might be bounded by the classical unigram language model adopted in the ROP task construction process. To tackle this problem, we propose a bootstrapped pre-training method (namely B-PROP) based on BERT for ad-hoc retrieval. The key idea is to use the powerful contextual language model BERT to replace the classical unigram language model for the ROP task construction, and re-train BERT itself towards the tailored objective for IR. Specifically, we introduce a novel contrastive method, inspired by the divergence-from-randomness idea, to leverage BERT's self-attention mechanism to sample representative words from the document. By further fine-tuning on downstream ad-hoc retrieval tasks, our method achieves significant improvements over baselines without pre-training or with other pre-training methods, and further pushes forward the SOTA on a variety of ad-hoc retrieval tasks.

연구 동기 및 목표

• PROP가 대표어 샘플링을 위해 고전적인 유니그램 언어 모델에 의존함으로써 의미적 표현이 최적화되지 않는 한계를 해결하기 위해.
• 유니그램 모델을 더 강력한 문맥 기반 언어 모델(BERT)으로 대체하여 사전학습 중 대표어 선택의 품질을 향상시키기 위해.
• 문서 어휘 분포를 무작위 분포와 비교하여 어휘의 정보성 수준을 측정하는 대비 방법을 개발하여 샘플링의 의미적 관련성을 향상시키기 위해.
• BERT를 대표어 예측을 위한 맞춤형 사전학습 목표(Relatedness of Pairs, ROP)에 재학습하여, 후속 광범위 검색 작업에서의 성능을 향상시키기 위해.
• 표준 광범위 검색 벤치마크에서 제로샷 및 파인튜닝 설정 모두에서 B-PROP의 효과성을 평가하기 위해.

제안 방법

• PROP의 고전적인 유니그램 언어 모델을 BERT로 대체하여 대표어 샘플링을 위한 더 의미적인 어휘 분포를 생성하기 위해.
• 무작위 분포에서의 분산 정도 원리를 기반으로 한 대비 방법을 도입하여, 특정 어휘가 무작위 분포에서 얼마나 벗어나 있는지를 측정함으로써 그 대표성 수준을 평가하기 위해.
• BERT의 자기주의 주의 메커니즘을 사용해 토큰 간의 주의 점수를 계산하고, 이를 바탕으로 문서에서 정보성 있는 어휘를 식별 및 샘플링하기 위해.
• BERT 기반으로 샘플된 어휘 쌍을 사용하여 대표어 예측(Relatedness of Pairs, ROP) 작업을 구성하며, 모델이 어느 쌍이 문서의 대표어로 더 적합한지 예측하도록 학습시키기 위해.
• 표준 지도 학습 데이터를 사용해 후속 광범위 검색 작업에서 BERT 모델을 파인튜닝하여 향상된 사전학습 목표를 활용하기 위해.
• 사전학습 중 ROP 목표를 마스크 언어 모델링(MLM)과 결합하여 문맥 표현과 어휘의 대표성 수준을 동시에 학습하기 위해.

실험 결과

연구 질문

• RQ1 ROP 작업 구성 시 유니그램 언어 모델 대신 BERT를 사용하면 광범위 검색을 위한 대표어 샘플링 품질이 향상되는가?
• RQ2 무작위 분포에서의 분산 정도를 기반으로 한 대비 방법은 기존 언어 모델보다 더 잘 의미적으로 대표어를 식별하는가?
• RQ3 B-PROP는 표준 광범위 검색 벤치마크에서 PROP 및 기타 기준 모델보다 더 높은 성능을 달성하는가?
• RQ4 B-PROP는 파인튜닝 없이 제로샷 설정으로도 어느 정도 일반화되는가?
• RQ5 제안된 사전학습 목표는 파인튜닝을 통해 후속 검색 작업으로 효과적으로 전이될 수 있는가?

주요 결과

• B-PROP는 TREC Robust04, ClueWeb09-B, Gov2 벤치마크에서 새로운 최신 기술 수준 성능을 달성하며, PROP 및 기타 강력한 기준 모델을 능가합니다.
• MS MARCO 문서 랭킹 랭킹에서 B-PROP는 이전 최신 기술 수준 성능을 크게 향상시켜 대규모 검색에서의 효과성을 입증합니다.
• 제로샷 설정에서 B-PROP는 ClueWeb09-B 및 Gov2에서 BM25를 능가하며, 파인튜닝 없이도 강력한 일반화 능력을 보입니다.
• 절단 실험 결과, BERT의 자기주의 주의 기반 대비 샘플링 방법이 무작위 또는 유니그램 기반 샘플링보다 성능 향상에 크게 기여하는 것으로 확인되었습니다.
• 감독 학습 데이터를 사용해 B-PROP를 파인튜닝하면, 평가된 모든 벤치마크에서 일관되고 상당한 성능 향상이 이루어집니다.
• B-PROP에서 ROP와 MLM 사전학습 목표의 조합은 각각의 목표만 사용할 경우보다 더 나은 문맥 표현과 대표어 표현을 제공합니다.