[논문 리뷰] Learning Groupwise Scoring Functions Using Deep Neural Networks

Qingyao Ai, Xuanhui Wang외 3명|arXiv (Cornell University)|2019. 01. 01.

Information Retrieval and Search Behavior참고 문헌 38인용 수 13

한 줄 요약

이 논문은 깊이 신경망을 사용하여 점별 스코링을 초월한 상대적 관련성 모델링을 통해 문서 그룹을 기반으로 문서 관련성을 동시에 결정하는 일반화된 군집 스코링 함수(GSF)를 제안한다. MSLR-WEB30K에서의 실험 결과 기존 방법, 특히 최첨단 트리 기반 모델보다 랭킹 성능 향상이 뚜렷하게 나타났다.

ABSTRACT

While in a classification or a regression setting a label or a value is assigned to each individual document, in a ranking setting we determine the relevance ordering of the entire input document list. This difference leads to the notion of relative relevance between documents in ranking. The majority of the existing learning-to-rank algorithms model such relativity at the loss level using pairwise or listwise loss functions. However, they are restricted to pointwise scoring functions, i.e., the relevance score of a document is computed based on the document itself, regardless of the other documents in the list. In this paper, we overcome this limitation by proposing generalized groupwise scoring functions (GSFs), in which the relevance score of a document is determined jointly by groups of documents in the list. We learn GSFs with a deep neural network architecture, and demonstrate that several representative learning-to-rank algorithms can be modeled as special cases in our framework. We conduct evaluation using the public MSLR-WEB30K dataset, and our experiments show that GSFs lead to significant performance improvements both in a standalone deep learning architecture, or when combined with a state-of-the-art tree-based learning-to-rank algorithm.

연구 동기 및 목표

• 기존 러닝-투-랭크 방법이 문서 간 상호작용을 忽시하는 점별 스코링 함수에 기인한 한계를 해결하기 위해.
• 문서 그룹을 함께 고려함으로써 문서 간 상대적 관련성을 모델링하기 위해 일반화된 군집 스코링 함수(GSF)를 도입하기 위해.
• 다양한 러닝-투-랭크 알고리즘이 제안된 GSF 프레임워크 아래 통합될 수 있음을 보여주기 위해.
• GSF의 효과성을 단독 딥 러닝 모델과 최첨단 트리 기반 러닝-투-랭크 알고리즘과의 조합에서 평가하기 위해.

제안 방법

• 문서의 관련성 점수를 단지 그 문서 자체가 아니라 그룹의 문서 집합에 따라 결정하는 일반화된 군집 스코링 함수(GSF)를 제안한다.
• 입력 특징에서 GSF를 엔드 투 엔드로 학습할 수 있도록 딥 뉴럴 네트워크 아키텍처를 설계한다.
• 쌍별 및 리스트와 같은 랭킹 목표를 GSF 프레임워크 내에서 특수한 경우로 모델링하여 기존 러닝-투-랭크 방법과의 호환성을 확보한다.
• 훈련 및 평가에 MSLR-WEB30K 데이터셋을 사용하며, NDCG 및 MAP와 같은 표준 랭킹 지표를 적용한다.
• 문서 그룹 간 상대적 관련성을 포괄하는 손실 함수를 사용하여 랭킹 일반화 능력을 향상시킨다.
• GSF를 최첨단 트리 기반 러닝-투-랭크 알고리즘과 조합하여 하이브리드 환경에서의 성능 향상 여부를 평가한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델에서 전통적인 점별 스코링 대비 군집 스코링 함수가 랭킹 성능 향상에 기여하는가?
• RQ2 효율성과 일반화 능력 측면에서 GSF는 기존의 쌍별 및 리스트 기반 러닝-투-랭크 방법과 비교해 어떻게 성과를 내는가?
• RQ3 기존의 러닝-투-랭크 알고리즘 중 어느 정도가 제안된 GSF 프레임워크 내에서 특수한 경우로 표현될 수 있는가?
• RQ4 최첨단 트리 기반 모델과 GSF를 통합하면 측정 가능한 성능 향상이 발생하는가?

주요 결과

• GSF는 단독 딥 러닝 아키텍처에서 사용할 경우 MSLR-WEB30K 데이터셋에서 랭킹 성능 향상이 뚜렷하게 향상된다.
• 제안된 GSF 프레임워크는 기존 러닝-투-랭크 방법을 일반화하며, 쌍별 및 리스트 방식을 특수한 경우로 포함한다.
• 최첨단 트리 기반 러닝-투-랭크 알고리즘과 조합할 경우 GSF는 측정 가능한 성능 향상을 이끈다.
• 기본 모델 대비 더 높은 NDCG 및 MAP 점수를 달성하여 군집 스코링 기반 관련성 모델링의 효과성을 입증한다.