[논문 리뷰] Sparsifying Sparse Representations for Passage Retrieval by Top-$k$ Masking

Jheng-Hong Yang, Xueguang Ma외 1명|arXiv (Cornell University)|2021. 12. 17.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 상위-$k$ 마스킹을 적용하여 희박성(스퍼스리티)를 제어하고, KL 발산을 통한 자기학습(self-learning)을 통해 마스킹된 표현과 마스킹되지 않은 표현을 정렬함으로써 문장 검색에서 희박한 어휘 표현을 학습하는 데 효과적인 단순한 방법인 SPLADE-mask를 제안한다. 이 방법은 하드 음성 샘플링이나 distillation을 사용하지 않아도 MS MARCO 개발 세트에서 SOTA인 MRR@10 0.373을 달성한다.

ABSTRACT

Sparse lexical representation learning has demonstrated much progress in improving passage retrieval effectiveness in recent models such as DeepImpact, uniCOIL, and SPLADE. This paper describes a straightforward yet effective approach for sparsifying lexical representations for passage retrieval, building on SPLADE by introducing a top-$k$ masking scheme to control sparsity and a self-learning method to coax masked representations to mimic unmasked representations. A basic implementation of our model is competitive with more sophisticated approaches and achieves a good balance between effectiveness and efficiency. The simplicity of our methods opens the door for future explorations in lexical representation learning for passage retrieval.

연구 동기 및 목표

• 복잡한 훈련 체제에 의존하지 않고도 문장 검색에서 희박한 어휘 표현의 효과성을 향상시키는 것.
• 상위-$k$ 마스킹 메커니즘을 통해 어휘 표현의 희박성을 제어하는 것.
• 자기학습을 통한 정렬을 통해 마스킹된 표현을 원본 마스킹되지 않은 표현과 일치시켜 모델 성능을 향상시키는 것.
• 검색 효과성과 계산 효율성 사이의 유리한 트레이드오프를 달성하는 것.
• 간단한 아키텍처 수정이 어휘 표현 학습에서 더 복잡한 모델을 능가할 수 있음을 보여주는 것.

제안 방법

• 표현 내에서 상위-$k$ 높은 가중치를 가진 토큰들만 유지하는 상위-$k$ 마스킹 기법을 도입하여 차원을 축소하고 희박성을 강제한다.
• 훈련 중에 $k$에 대해 지수 감쇠 스케줄러를 적용하여 점차로 유지되는 토큰 수를 증가시킨다.
• 마스킹된 표현의 분포를 원본 마스킹되지 않은 표현의 분포와 일치시키기 위해 KL 발산 기반의 자기학습 목표를 사용한다.
• 쿼리와 문서 간의 관련성 점수를 최적화하기 위해 표준 랭킹 손실(예: 마진 기반 또는 대비 기반)을 사용한다.
• SPLADE 프레임워크를 기반으로 하되, 마스킹된 언어 모델을 사용해 어휘 공간 내에서 텀의 중요도를 예측한다.
• 대비 손실과 KL 기반 자기학습을 조합하여 엔드 투 엔드로 모델을 훈련시켜 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 간단한 상위-$k$ 마스킹 전략이 문장 검색에서 희박한 어휘 표현의 효과성을 향상시킬 수 있는가?
• RQ2 마스킹된 표현과 마스킹되지 않은 표현 간의 KL 발산을 통한 자기학습이 모델 성능을 향상시키는가?
• RQ3 SPLADE에 대한 최소한의 수정으로 하드 음성 샘플링이나 distillation 없이도 SOTA 성능을 달성할 수 있는가?
• RQ4 기본 벤치마크에서 더 복잡한 모델과 비교해 본다면 제안된 방법의 효과성은 어떻게 되는가?
• RQ5 학습된 어휘 표현에서 검색 성능, 모델 크기, 추론 효율성 사이의 트레이드오프는 어떠한가?

주요 결과

• SPLADE-mask는 MS MARCO 개발 세트에서 MRR@10 0.373을 기록하여 이전 SOTA 모델인 SPLADE-distil(0.368)을 초월한다.
• 상위-$k$ 마스킹과 KL 발산을 통한 자기학습의 조합이 가장 높은 효과성을 보이며, 기준 모델인 SPLADE-max 대비 0.005의 향상이 이루어졌다.
• 하드 음성 샘플링이나 크로스엔코더 디스틸레이션 없이도 상대적으로 단순한 아키텍처로 SOTA 성능을 달성했다.
• 모델의 인덱스 크기는 5.4 GiB로, SPLADE-distil(5.0 GiB)보다 略로 크지만 다른 어휘 모델과 비교해도 경쟁력이 있다.
• TREC DL19 및 DL20에서 SPLADE-mask는 최상위 모델들보다 낮은 효과성을 보였지만, 그 이유는 아직 밝혀지지 않았다.
• 결과는 상위-$k$ 마스킹과 자기학습이 효과적이고 상호 보완적인 개선 방법이며, 디스틸레이션과 같은 다른 기법과 조합해 추가 성능 향상을 이룰 수 있음을 시사한다.