[논문 리뷰] Fine-Grained Distillation for Long Document Retrieval

Yucheng Zhou, Tao Shen외 5명|arXiv (Cornell University)|2022. 12. 20.

Image Retrieval and Classification Techniques인용 수 4

한 줄 요약

이 논문은 장문 문서 검색을 위한 새로운 지식 distillation 프레임워크인 미세한 구분 distillation (FGD)을 제안한다. 이는 크로스-엔코더에서 다중 구분 수준의 표현을 얻어 비-엔코더가 이를 정렬하도록 훈련시켜 구분 불일치 문제를 완화한다. 훈련 중 문장 및 파assage 수준에서 국소적 조율된 distillation과 전역 일관성 있는 구분 임베딩을 사용함으로써, FGD는 추론 효율성에 영향을 주지 않고 MS-Marco 및 TREC 2019 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Long document retrieval aims to fetch query-relevant documents from a large-scale collection, where knowledge distillation has become de facto to improve a retriever by mimicking a heterogeneous yet powerful cross-encoder. However, in contrast to passages or sentences, retrieval on long documents suffers from the scope hypothesis that a long document may cover multiple topics. This maximizes their structure heterogeneity and poses a granular-mismatch issue, leading to an inferior distillation efficacy. In this work, we propose a new learning framework, fine-grained distillation (FGD), for long-document retrievers. While preserving the conventional dense retrieval paradigm, it first produces global-consistent representations crossing different fine granularity and then applies multi-granular aligned distillation merely during training. In experiments, we evaluate our framework on two long-document retrieval benchmarks, which show state-of-the-art performance.

연구 동기 및 목표

• 범위 가설과 구분 불일치로 인해 비-엔코더와 크로스-엔코더 간의 성능 격차를 해결한다.
• 주제 간 구조적 및 의미적 이질성으로 인해 기존 distillation 방법이 장문 문서에서 실패하는 한계를 극복한다.
• 추론 효율성에 영향을 주지 않으면서 이질적인 크로스-엔코더에서 비-엔코더로 효과적인 지식 전달을 가능하게 하는 훈련 시간 프레임워크를 개발한다.
• 세부 단위(예: 문장, 파assage) 간 일관된 표현을 유지하면서 전역 문서 수준의 의미를 그대로 보존한다.
• 통합된 distillation 전략을 통해 다양한 비-엔코더 및 크로스-엔코더 아키텍처 간 일반화를 가능하게 한다.

제안 방법

• 장문 문서 내에서 문장, 파assage 등 다양한 구분 수준에서 표현을 동적으로 맥락화할 수 있도록 전역 일관성 있는 구분 임베딩을 도입한다.
• 훈련 중 크로스-엔코더에서 비-엔코더로 다중 구분 수준에서 관련도 점수 분포를 전달하는 국소적 조율된 점수 distillation을 제안한다.
• 어려운 음성 예측을 더 잘 학습하기 위해 상위 수준(문서)에서 세부 수준(문장, 파assage)까지 계층적인 음성 예측 샘플링 전략을 설계한다.
• 다중 구분 수준의 distillation을 훈련 기간 동안만 적용하여, 추론 시 단일 벡터 추론을 유지함으로써 효율성을 보존한다.
• 추론 시 고정된 단일 벡터 문서 표현을 사용하는 비-엔코더를 활용하면서, 훈련 시 다중 구분 수준의 감독을 통해 일반화 능력을 향상시킨다.
• 대비 학습과 함께 distillation을 적용하여 비-엔코더의 강건성 향상과 과적합 감소를 도모한다.

실험 결과

연구 질문

• RQ1 장문 문서의 다중 주제 성격에도 불구하고 크로스-엔코더에서 비-엔코더로 지식 distillation을 효과적으로 적용할 수 있는가?
• RQ2 문서 수준의 distillation과 비교해 다중 구분 수준의 distillation이 비-엔코더의 장문 문서 검색 성능을 향상시키는가?
• RQ3 전역 일관성 있는 구분 임베딩이 장문 문서에서 세부 수준과 전역 표현 간의 정렬을 향상시키는가?
• RQ4 계층적 음성 예측 샘플링은 장문 문서 검색에서 distillation의 품질에 어떤 영향을 미치는가?
• RQ5 제안된 FGD 프레임워크는 다양한 비-엔코더 및 크로스-엔코더 아키텍처와 호환되는가?

주요 결과

• FGD는 MS-Marco 및 TREC 2019 장문 문서 검색 벤치마크에서 모두 최고 성능을 달성하며, 기존의 distillation 기반 방법들을 능가한다.
• brute-force distillation의 초기 실험에서 최소한의 향상(<0.1%)을 보였던 데 비해, FGD는 장문 문서에서 검색 지표에서 1% 이상의 성능 향상을 기록하여 뚜렷한 성과 향상을 이룬다.
• 다중 구분 수준의 distillation을 훈련 기간 동안만 적용함으로써 추론 효율성을 유지하며, 표준 비-엔코더 추론 파이프라인을 그대로 보존한다.
• 전역 일관성 있는 구분 임베딩은 구분 간 갈등을 효과적으로 감소시키고 세부 수준과 전역 표현 간의 정렬을 향상시킨다.
• 계층적 음성 예측 샘플링은 다중 구분 수준에서 더 유의미한 어려운 음성 예측을 제공함으로써 distillation의 품질을 향상시키고 모델의 일반화 능력을 강화한다.
• 프레임워크는 다양한 비-엔코더 및 크로스-엔코더 아키텍처와 호환되며, 다양한 모델 선택에 걸쳐 강력한 일반화 능력을 보여준다.