[논문 리뷰] SetRank: Learning a Permutation-Invariant Ranking Model for Information Retrieval

Liang Pang, Jun Xu외 4명|arXiv (Cornell University)|2019. 12. 12.

Data Management and Algorithms참고 문헌 39인용 수 15

한 줄 요약

SetRank는 다중 헤드 자기주의 블록을 스택하여 문서 집합을 공동으로 임bedding하고 정보 검색을 위한 다변량 스코링 함수를 학습하는 순열 불변 신경 순위 매기기 모델이다. 입력 순서와 크기 변화에 대해 강건성을 유지하면서도 문서 간 상호작용을 포착함으로써 전통적 및 최신 학습-순위 매기기 모델을 능가한다.

ABSTRACT

In learning-to-rank for information retrieval, a ranking model is automatically learned from the data and then utilized to rank the sets of retrieved documents. Therefore, an ideal ranking model would be a mapping from a document set to a permutation on the set, and should satisfy two critical requirements: (1)~it should have the ability to model cross-document interactions so as to capture local context information in a query; (2)~it should be permutation-invariant, which means that any permutation of the inputted documents would not change the output ranking. Previous studies on learning-to-rank either design uni-variate scoring functions that score each document separately, and thus failed to model the cross-document interactions; or construct multivariate scoring functions that score documents sequentially, which inevitably sacrifice the permutation invariance requirement. In this paper, we propose a neural learning-to-rank model called SetRank which directly learns a permutation-invariant ranking model defined on document sets of any size. SetRank employs a stack of (induced) multi-head self attention blocks as its key component for learning the embeddings for all of the retrieved documents jointly. The self-attention mechanism not only helps SetRank to capture the local context information from cross-document interactions, but also to learn permutation-equivariant representations for the inputted documents, which therefore achieving a permutation-invariant ranking model. Experimental results on three large scale benchmarks showed that the SetRank significantly outperformed the baselines include the traditional learning-to-rank models and state-of-the-art Neural IR models.

연구 동기 및 목표

• 문서를 독립적으로 평가하는 전통적 학습-순위 매기기 모델의 한계를 해결하고 문서 간 상호작용을 모델링할 수 있도록 하기.
• 초기 문서 순서에 의존하는 순차적 다변량 모델의 순열 민감성 문제를 해결하기.
• 입력 문서 순서에 관계없이 순열 불변이면서 동시에 문서 간 상호작용으로부터 局소적 맥락을 포착하는 순위 매기기 모델 개발하기.
• 여러 개의 초기 순위를 입력 특징으로 효과적으로 활용하여 순위 정확도 향상 가능하게 하기.
• 다양한 문서 집합 크기와 노이즈가 있는 초기 순위에 대해 강건한 성능 확보하기.

제안 방법

• 모든 문서 집합 내 문서들의 맥락 임베딩을 공동으로 학습하기 위해 (유도된) 다중 헤드 자기주의 블록 스택 사용.
• 자기주의 기반 표현을 통해 순열 등변성 표현을 확보하고 최종 순위 출력의 순열 불변성 확보.
• 최종 자기주의 출력 표현에서 순위 점수를 생성하기 위해 행 단위로 완전 연결 네트워크 적용.
• 순서형 임베딩을 활용해 0개, 1개 또는 다수의 초기 순위를 입력 특징으로 인코딩.
• 변동 크기의 문서 집합을 고정된 수의 클러스터 중심으로 사영하기 위해 유도된 주의 메커니즘(IMSAB) 사용하여 크기 간 일반화 향상.
• NDCG와 같은 순위 메트릭을 최적화하기 위해 레이블된 관련성 데이터를 사용해 모델을 엔드 투 엔드로 훈련.

실험 결과

연구 질문

• RQ1 신경 순위 매기기 모델이 문서 간 상호작용을 효과적으로 모델링하면서도 순열 불변성을 달성할 수 있는가?
• RQ2 SetRank는 다양한 벤치마크에서 전통적 학습-순위 매기기 모델 및 최신 신경 IR 모델과 비교해 어떻게 성능를 내는가?
• RQ3 여러 개의 초기 순위를 통합할 경우 SetRank의 순위 정확도는 어느 정도 향상되는가?
• RQ4 훈련 및 테스트 세트 크기가 다를 때 SetRank는 문서 집합 크기 변화에 대해 얼마나 강건한가?
• RQ5 표준 다중 헤드 주의와 비교해 유도된 다중 헤드 주의(IMSAB)는 입력 크기 민감도를 감소시키는가?

주요 결과

• SetRank는 대규모 3개 벤치마크에서 기준 모델인 LambdaMART, Deep Learning for Ranking(DLCM), 기타 신경 IR 모델을 뛰어넘는 성능을 보였다.
• TREC Web Track 2014 데이터셋에서 SetRank는 NDCG@10 0.6737을 기록하여 이어지는 최고 성능 모델보다 0.0105 포인트 높았다.
• 40개 문서 세트로 훈련하고 240개 문서 세트로 테스트했을 때 SetRank IMSAB는 NDCG@10에서 0.0049의 성능 하락을 보였고, DLCM ${}^{w/o ext{ }init}$는 0.0334의 하락을 보여, 집합 크기 변화에 대해 훨씬 더 강건함을 입증했다.
• 단일 초기 순위(예: LambdaMART에서 유도된 것)를 포함시켰을 때, 초기 순위 없이 훈련한 버전 대비 SetRank 성능이 향상되었으며, NDCG@10은 0.6737에서 0.6834로 상승했다.
• 네 개의 초기 순위를 사용했을 때는 한 개의 초기 순위를 사용한 것과 비교해 성능 향상이 미미했으며, 이는 고품질의 초기 순위(예: LambdaMART)가 신호를 지배하기 때문에 추가 순위가 더 이상 유의미한 기여를 하지 않는다는 것을 시사한다.
• SetRank IMSAB는 SetRank MSAB보다 훨씬 낮은 테스트 세트 크기 민감도를 보였으며, 40개에서 240개 문서로 옮길 때 NDCG@10 성능 하락이 0.0164 vs. 0.0049로 나타나, 유도된 주의가 일반화 능력을 향상시킨다는 것을 입증했다.