[논문 리뷰] Intra-Document Cascading: Learning to Select Passages for Neural Document Ranking

Sebastian Hofstätter, Bhaskar Mitra외 3명|arXiv (Cornell University)|2021. 05. 20.

Topic Modeling참고 문헌 40인용 수 10

한 줄 요약

이 논문은 내부 문서 단계적 순위 매기기(Intra-Document Cascaded Ranking, IDCM)를 제안한다. 이는 빠른 지식 정련된 학생 모델(ESM)을 사용해 먼저 상위-k개의 문단을 선택하고, 이후에 높은 정확도를 가진 BERT 기반의 교사 모델(ETM)을 해당 문단들에만 적용하는 이단계 신경망 문서 재순서 모델이다. 조기에 관련 없는 내용을 제거함으로써 IDCM은 쿼리 지연 시간을 400% 이상 감소시키면서도 MS MARCO 및 TREC 딥 러닝 트랙 벤치마크에서 최신 기술 수준의 효과성을 유지한다.

ABSTRACT

An emerging recipe for achieving state-of-the-art effectiveness in neural document re-ranking involves utilizing large pre-trained language models - e.g., BERT - to evaluate all individual passages in the document and then aggregating the outputs by pooling or additional Transformer layers. A major drawback of this approach is high query latency due to the cost of evaluating every passage in the document with BERT. To make matters worse, this high inference cost and latency varies based on the length of the document, with longer documents requiring more time and computation. To address this challenge, we adopt an intra-document cascading strategy, which prunes passages of a candidate document using a less expensive model, called ESM, before running a scoring model that is more expensive and effective, called ETM. We found it best to train ESM (short for Efficient Student Model) via knowledge distillation from the ETM (short for Effective Teacher Model) e.g., BERT. This pruning allows us to only run the ETM model on a smaller set of passages whose size does not vary by document length. Our experiments on the MS MARCO and TREC Deep Learning Track benchmarks suggest that the proposed Intra-Document Cascaded Ranking Model (IDCM) leads to over 400% lower query latency by providing essentially the same effectiveness as the state-of-the-art BERT-based document ranking models.

연구 동기 및 목표

• BERT 기반 신경망 문서 재순서의 높은 추론 지연을 해결하기 위해, 문단별 BERT 점수 계산으로 인해 문서 길이에 따라 증가하는 문제를 다루기 위해.
• 단계적 두 단계 모델 아키텍처를 도입하여 효율성을 향상시키면서도 순위 매기기 효과성을 손상시키지 않기 위해.
• 계산 비용을 줄여 강력한 신경망 재순서 모델을 대규모 생산 환경에 실용적으로 구현하기 위해.
• BERT의 자체 점수를 지도로 사용하여 효율적인 문단 선별 모델을 학습하기 위해 지식 정련을 자율 학습 방법으로 탐색하기 위해.

제안 방법

• 모델는 내부 문서 단계적 처리 전략을 사용한다: 경량이자 정련된 학생 모델(ESM)이 먼저 문서에서 상위-k개의 문단을 순위 매기고 선택한다.
• ESM은 BERT 기반의 교사 모델(ETM)이 생성한 문단 수준의 점수를 사용하여 지식 정련을 통해 학습되며, 이로써 BERT 순위 매기기 행동을 근사할 수 있다.
• 선택된 k개의 문단들만 이후에 전체 BERT 모델(ETM)에 의해 점수 매겨지며, 이는 비용이 많이 드는 BERT 추론 횟수를 극적으로 줄인다.
• ESM은 BERT 점수를 그저 모방하는 것 이상으로 선택 품질을 향상시키기 위해 내부 문서 순위 매기기 손실을 추가로 최적화한다.
• 모델는 위치 신호를 유지하기 위해 대칭 패딩을 사용하며, 이는 모델이 문단 위치 신호를 학습할 수 있도록 한다.
• 전체 파이프라인은 선택 모듈과 점수 매기기 모듈 간의 협업을 균형 있게 유지하기 위해 다단계 방식으로 훈련된다.

실험 결과

연구 질문

• RQ1 RQ1: IDCM은 전체 BERT 기반 순위 매기기와 동일한 효과성을 달성하면서도 계산 비용과 쿼리 지연 시간을 줄일 수 있는가?
• RQ2 RQ2: ESM 모듈이 선택하는 문단 수 k에 따라 효율성-효과성 트레이드오프는 어떻게 변화하는가?
• RQ3 RQ3: ESM 모듈이 BERT 모델이 선택할 상위 문단들을 얼마나 잘 복원하는가?
• RQ4 RQ4: 다양한 문서 관련성 등급과 위치에서 문단 선택 행동의 패턴은 어떻게 나타나는가?

주요 결과

• IDCM은 전체 BERT 기반 재순서 모델 대비 중앙값 쿼리 지연 시간을 400% 이상 감소시켰으며, MS MARCO 및 TREC DL 2019 벤치마크에서 동일한 효과성을 달성했다.
• ESM이 BERT 문단 점수와 내부 문서 순위 매기기 손실을 사용하여 지식 정련을 통해 훈련되고, BERT 점수를 적용하기 위해 k=40개의 문단을 선택할 경우 최고의 성능을 기록했다.
• ESM은 상위 문단에 대해 높은 리콜을 달성했으며, 특히 높은 관련성의 문서에서 BERT의 선택 행동과 강력한 일치를 보였다.
• 모델는 대칭 패딩으로 인한 위치 신호를 활용하여 문서의 시작과 끝 모두에서 유의미한 내용을 식별하는 데 성공했으며, 이는 문서 경계에서 관련 정보를 효과적으로 식별하는 데 기여했다.
• 한 번의 문단에 대한 BERT 추론은 중앙값 지연 시간에 25ms를 추가하는 반면, CK(S)가 40개의 문단을 처리하는 데에는 유사한 실행 시간을 가지며, 이는 단계적 처리의 효율성 향상을 보여준다.
• 이 프레임워크는 수동 주석을 자율 학습 정련으로 대체함으로써 강력한 신경망 재순서 모델의 효율적 구현을 가능하게 하였으며, 인력과 비용을 줄였다.