[논문 리뷰] Self-Attentive Document Interaction Networks for Permutation Equivariant Ranking

Rama Kumar Pasumarthi, Xuanhui Wang외 2명|arXiv (Cornell University)|2019. 10. 21.

Information Retrieval and Search Behavior참고 문헌 44인용 수 10

한 줄 요약

이 논문은 학습-랭킹에서 교차 문서 상호작용을 모델링하기 위해 순열-등변성(permutation-equivariance)을 강제하는 자기주의 기반 문서 상호작용 네트워크를 제안한다. 이는 다양한 크기의 문서 집합에 대해 훈련과 추론 간의 일관성 없음 없이 효과적이고 효율적인 점수 평가를 가능하게 한다. 제안된 방법은 Web30k, Gmail Search, Google Drive Quick Access 데이터셋에서 단변량 모델과 기존 다변량 접근법보다 뛰어난 성능을 보이며, MRR 향상 폭이 크고 추론 속도도 빠르다.

ABSTRACT

How to leverage cross-document interactions to improve ranking performance is an important topic in information retrieval (IR) research. However, this topic has not been well-studied in the learning-to-rank setting and most of the existing work still treats each document independently while scoring. The recent development of deep learning shows strength in modeling complex relationships across sequences and sets. It thus motivates us to study how to leverage cross-document interactions for learning-to-rank in the deep learning framework. In this paper, we formally define the permutation-equivariance requirement for a scoring function that captures cross-document interactions. We then propose a self-attention based document interaction network and show that it satisfies the permutation-equivariant requirement, and can generate scores for document sets of varying sizes. Our proposed methods can automatically learn to capture document interactions without any auxiliary information, and can scale across large document sets. We conduct experiments on three ranking datasets: the benchmark Web30k, a Gmail search, and a Google Drive Quick Access dataset. Experimental results show that our proposed methods are both more effective and efficient than baselines.

연구 동기 및 목표

• 학습-랭킹에서 교차 문서 상호작용을 모델링하는 점수 함수에 대해 순열-등변성 조건을 수식적으로 정의하는 것.
• 기존 다변량 점수 함수(예: GSFs, RankProb)에서 발생하는 훈련-추론 불일치와 비효율성을 해결하는 것.
• 보조 정보나 고정 순서 입력에 의존하지 않고도 확장 가능하고 효율적이며 효과적인 문서 상호작용을 캡처하는 방법을 개발하는 것.
• 자기주의 메커니즘이 자연스럽게 순열-등변성을 만족하며, 랭킹을 위한 딥러닝 프레임워크에 통합될 수 있음을 보여주는 것.

제안 방법

• 모든 문서 쌍 간의 어텐션 스코어를 계산하는 자기주의 기반 문서 상호작용 네트워크(attn-DIN)를 제안하여, 입력 순서에 관계없이 상호작용 모델링이 가능하도록 한다.
• 문서 순서가 바뀔 때 모델의 출력이 예측 가능하게 변화하도록 순열-등변성을 강제함으로써, 다양한 입력 순서에서 일관성을 유지한다.
• 자기주의 레이어와 피드포워드 네트워크를 조합한 넓고 깊은 아키텍처를 사용하여 문서 표현을 집계하고 최종 관련성 점수를 생성한다.
• 단변량 쿼리-문서 점수 함수를 교차 문서 어텐션 풀링을 통합하여 확장함으로써, 재학습 없이도 상호작용 인식 점수를 가능하게 한다.
• 맥락 인식 상호작용을 계산하는 정규화된 어텐션 메커니즘을 사용하여 관련 문서 쌍에 집중함으로써 관련성 추정 성능을 향상시킨다.
• 리스트와이즈 손실 함수를 사용하여 랭킹 프레임워크 내에서 엔드 투 엔드로 모델을 적용함으로써, 상호작용 및 관련성 신호를 동시에 최적화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 교차 문서 상호작용을 모델링하는 점수 함수를 순열-등변성으로 설계할 수 있는가? 이를 통해 문서 순서에 관계없이 일관된 행동을 보장할 수 있는가?
• RQ2 자기주의 메커니즘을 어떻게 활용하여 효율적인 동시에 효과적인 문서 상호작용을 모델링할 수 있는가?
• RQ3 제안된 방법이 단변량 모델과 기존 다변량 접근법(GSFs, RankProb)보다 랭킹 효과성과 추론 속도 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 실제 데이터셋에서 다양한 특성 유형과 큰 후보 집합을 가진 환경에서 교차 문서 상호작용이 랭킹 성능 향상에 얼마나 기여하는가?

주요 결과

• Gmail 데이터셋에서 최고의 GSF 모델 대비 attn-DIN 모델이 MRR에서 유의미한 상대적 향상을 보이며 +0.237 ± 0.206의 향상률을 기록했고, p < 0.05이다.
• Quick Access 데이터셋에서는 제안된 방법이 단변량 모델을 뛰어넘었으며, GSF 모델들은 단변량 기준선 향상에 실패했다.
• Web30k에서 쿼리당 추론 시간을 13 ms로 단축시켜 정확한 GSF 추론 시간인 2,240 ms 대비 뛰어난 효율성을 입증했다.
• GSF 성능이 복잡성 증가와 근사 오류로 인해 악화되는 대규모 그룹 크기(최대 200개 문서)에서도 모델은 높은 성능 유지를 유지했다.
• 제안된 모델의 파라미터 수는 다변량 GSF 모델보다 낮아 성능 향상이 모델 용량 증가 때문이 아니라 더 나은 상호작용 모델링 덕분임을 시사한다.
• 기존 방법들과 달리 사전 계산된 유사도나 클러스터 정보와 같은 보조 정보가 필요 없이도 효과적으로 문서 상호작용을 포착할 수 있다.