[논문 리뷰] Distilling Dense Representations for Ranking using Tightly-Coupled Teachers

Sheng-Chieh Lin, Jheng-Hong Yang외 1명|arXiv (Cornell University)|2020. 10. 22.

Machine Learning and Algorithms참고 문헌 24인용 수 56

한 줄 요약

본 논문은 ColBERT의 MaxSim 기반 랭킹을 촘촘히 연결된 도트곱 생-성기(dot-product bi-encoder)로 축약하여 단일 패스 ANN 검색과 저장소 및 지연 시간을 줄인 밀집-희소 하이브드 검색을 가능하게 한다.

ABSTRACT

We present an approach to ranking with dense representations that applies knowledge distillation to improve the recently proposed late-interaction ColBERT model. Specifically, we distill the knowledge from ColBERT's expressive MaxSim operator for computing relevance scores into a simple dot product, thus enabling single-step ANN search. Our key insight is that during distillation, tight coupling between the teacher model and the student model enables more flexible distillation strategies and yields better learned representations. We empirically show that our approach improves query latency and greatly reduces the onerous storage requirements of ColBERT, while only making modest sacrifices in terms of effectiveness. By combining our dense representations with sparse representations derived from document expansion, we are able to approach the effectiveness of a standard cross-encoder reranker using BERT that is orders of magnitude slower.

연구 동기 및 목표

• 비용이 큰 크로스 인코더의 대안으로 밀집 표현을 사용한 효율적인 임시 검색의 동기를 부여한다.
• ColBERT에서 도트곱 생‑성기까지 촘촘하게 연결된 지식 증류 구성을 제안한다.
• 증류를 통해 검색 효과를 유지하면서 저장소와 지연 시간을 감소시킨다.
• 희소 신호를 밀집 표현과 통합하여 크로스 인코더 성능에 근접하도록 한다.
• MS MARCO 및 TREC 2019 DL에서 엔드투엔드 검색 효율성과 지연 시간을 평가한다.

제안 방법

• 임베딩에 PoolAvg를 사용하여 이중 인코더를 활용한 밀집 검색을 공식화한다.
• ColBERT MaxSim으로부터 지식을 촘촘하게 연결된 학습 루프를 통해 도트-곱 학생 모델로 증류한다.
• 교사-학생 분포 간 KL 발산을 이용한 배치 기반 소프트 라벨 증류를 활용한다.
• 두 단계로 학습한다: MaxSim으로 교사를 미세조정하고, 이후 교사를 고정한 채 PoolAvg 학생에게 증류한다.
• 하이브리드 점수 규칙(Eq. 7)을 통해 엔드투엔드에서 밀집 및 희소 신호를 결합한다.
• 지연 시간 측정과 함께 MS MARCO dev 및 TREC 2019 DL을 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 ColBERT에서 촘촘하게 연결된 지식 증류가 단일 단계 ANN 검색에 충분하도록 도트-곱 생체 인코더를 개선할 수 있는가?
• RQ2 밀집 표현과 희소 신호의 결합이 엔드 투 엔드 검색 성능과 지연 시간에 경쟁력 있는지를 보장하는가?
• RQ3 MS MARCO와 TREC 벤치마크에서 증류가 재랭킹과 검색 구성을 어떻게 영향하는가?
• RQ4 제안된 밀집-희소 하이브드 접근법의 실용적 지연 비용은 얼마인가?

주요 결과

• Tight Coupled Distillation이 적용된 Bi-encoder(TCT-ColBERT)는 MS MARCO 및 TREC2019 DL에서 비증류 PoolAvg 기준선을 능가한다.
• 밀집 표현과 증류에 희소 신호를 더하면 다수의 단일 단계 밀집 메서드를 능가하고 doc2query-T5를 사용할 때 크로스 인코더 성능에 근접한다.
• 하이브리드 밀집-희소 검색은 MS MARCO 및 TREC2019 DL 작업에서 최첨단 재현율을 달성하면서 다단계 방법보다 현저히 빠르다.
• 약화 연구에서 배치 내 증류가 검색 성능을 향상시키고, 배치 내 트리플 샘플링이 트리플 증류보다 이득을 준다.
• 엔드-투-엔드 지연 시간 분석은 밀집 검색과 작은 점수 결합 오버헤드가 효율적임을 보여준다(쿼리 인코딩 약 3 ms, GPU에서의 도트-곱 검색 약 100 ms).
• 제안된 방법은 ColBERT보다 네 배 빠르고 크로스-인코더 재랭킹보다 대략 30배 빠르며 경쟁력 있는 효과를 보인다.