[논문 리뷰] LED: Lexicon-Enlightened Dense Retriever for Large-Scale Retrieval

Kai Zhang, Chongyang Tao외 5명|arXiv (Cornell University)|2022. 08. 29.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 밀도 높은 검색을 향상시키기 위해 어휘 인식 모델로부터 지식을 희석시키는 두 가지 신규 희석 전략인 어휘 보완형 대비 학습과 쌍별 순위 일致성 정규화를 통해 어휘에 영향을 받는 밀도 높은 검색기인 LED를 제안한다. 이 방법은 현저하게 향상된 밀도 높은 검색기 성능을 보이며, 세 가지 벤치마크에서 조건에 따라 그 교사 모델조차도 능가한다. 이는 주요 어휘 조각과 엔티티 언급을 더 잘 포착하기 때문이다.

ABSTRACT

Retrieval models based on dense representations in semantic space have become an indispensable branch for first-stage retrieval. These retrievers benefit from surging advances in representation learning towards compressive global sequence-level embeddings. However, they are prone to overlook local salient phrases and entity mentions in texts, which usually play pivot roles in first-stage retrieval. To mitigate this weakness, we propose to make a dense retriever align a well-performing lexicon-aware representation model. The alignment is achieved by weakened knowledge distillations to enlighten the retriever via two aspects -- 1) a lexicon-augmented contrastive objective to challenge the dense encoder and 2) a pair-wise rank-consistent regularization to make dense model's behavior incline to the other. We evaluate our model on three public benchmarks, which shows that with a comparable lexicon-aware retriever as the teacher, our proposed dense one can bring consistent and significant improvements, and even outdo its teacher. In addition, we found our improvement on the dense retriever is complementary to the standard ranker distillation, which can further lift state-of-the-art performance.

연구 동기 및 목표

• 밀도 높은 검색기가 압축된 의미 표현으로 인해 局소적이고 주목할 만한 어휘 조각과 엔티티 언급을 간과하는 한계를 해결하기 위해.
• 성능이 뛰어난 어휘 인식 표현 모델로부터 어휘 지식을 전이하여 밀도 높은 검색 성능을 향상시키기 위해.
• 밀도 인코더의 순서 수준 의미 능력을 손상시키지 않으면서도 이를 향상시키는 지식 희석 프레임워크를 개발하기 위해.
• 기존의 희석 방법(예: 크로스 인코더 희석)과의 호환성을 확보하여 추가 성능 향상을 위해.
• 효율적인 약한 감독을 통해 어휘 신호로부터 유래한 정보를 활용해, 밀도 높은 검색기가 그 어휘 인식 교사 모델을 능가할 수 있음을 입증하기 위해.

제안 방법

• 어휘 인식 검색기로부터 유도된 하드 네거티브를 사용하여 밀도 높은 인코더의 표현 학습을 도전하고 개선하는 어휘 보완형 대비 학습 목표를 도입한다.
• 쌍별 순위 일치 정규화를 제안하여, 약한 감독을 통해 밀도 높은 모델의 순위 매기기 행동을 어휘 인식 교사의 행동과 일치시킨다. 이를 통해 핵심 어휘 패턴을 유지한다.
• 엄격한 분포 매칭이나 전체 미세조정을 피하는 약한 형태의 지식 희석을 활용하여, 밀도 높은 모델의 본질적 특성을 유지하면서 어휘 인식 능력을 통합한다.
• 마스크된 언어 모델링을 통해 훈련된 사전 훈련된 어휘 중심 표현 모델을 교사로 활용하여 고품질의 어휘 신호를 제공한다.
• 제안된 희석 전략을 크로스 인코더로부터의 표준 랭커 희석과 결합하여 추가 성능 향상을 가능하게 한다.
• 하이브리드 목표를 사용하여 밀도 높은 검색기를 종합적으로 훈련한다: 어휘 보완형 네거티브를 사용한 대비 손실과 순위 일치 정규화 손실.

Figure 1. The training framework of our LED retriever. The Lexical teacher is independently trained following a two-stage process. After warming up, LED is trained with negatives mined by self and two lexicon-aware retrievers for lexicon-augmented contrastive learning, during which the Lexical Model

실험 결과

연구 질문

• RQ1 밀도 높은 검색기가 어휘 인식 능력을 갖추면서도 의미 표현 능력을 유지할 수 있는가?
• RQ2 어휘 인식 모델로부터의 지식 희석이 주목할 만한 어휘 조각과 엔티티 언급을 포착하는 데 있어 밀도 높은 검색 성능을 향상시키는가?
• RQ3 제안된 희석 전략이 교사 모델이 강력한 어휘 인식 검색기임에도 불구하고 그 성능을 초월할 수 있는가?
• RQ4 제안된 희석 기법은 기존의 희석 파ipeline(예: 크로스 인코더 희석)과 얼마나 호환되는가?
• RQ5 희석 신호가 장기 꼬리 또는 도전적인 쿼리에서 검색 정확도를 어느 정도 향상시키는가?

주요 결과

• LED는 MS MARCO, TREC-Antique, TREC-NFCorpus 세 벤치마크에서 일관되게 검색 성능을 향상시키며 강력한 일반화 능력을 보였다.
• MS MARCO Dev 세트에서 LED는 황금 문장의 평균 순위를 14.7(denote)에서 13.8로 감소시켜 상위 100개 검색에서 현저한 향상을 보였다.
• 세 벤치마크 전반에서 LED는 교사 모델(Lex)보다 평균 상호 역수 순위(MRR)와 정규화된 할인 누적 수익(nDCG) 측면에서 뛰어난 성능을 보였다.
• 사례 연구에서 LED는 "인터넷의 이점"이나 "연필 도구"와 같은 주목할 만한 어휘 조각을 포함한 쿼리에서 정확한 문장을 상위 1위로 검색하는 데 성공했고, 밀도 높은 기반(DEN)은 의미 불일치로 실패했다.
• LED w/ RT(크로스 인코더 희석과 결합)를 통해 성능이 추가로 향상되어 MS MARCO에서 새로운 최고 성능을 달성했다.
• 제거 분석을 통해 대비 학습과 순위 일치 두 가지 희석 구성 요소 모두 성능 향상에 기여했으며, 특히 대비 목표가 어휘 신호를 포착하는 데 매우 효과적임을 확인했다.