[논문 리뷰] NeuralNDCG: Direct Optimisation of a Ranking Metric via Differentiable Relaxation of Sorting

Przemyslaw Pobrotyn, Radosław Białobrzeski|arXiv (Cornell University)|2021. 02. 15.

Information Retrieval and Search Behavior참고 문헌 31인용 수 15

한 줄 요약

이 논문은 NDCG 순위 평가 지표의 비가역적 정렬 연산을 신경망 정렬(NeuralSort)으로 대체함으로써 NDCG의 미분 가능 근사치인 NeuralNDCG를 제안한다. 이를 통해 학습 중에 NDCG를 직접 기울기 기반 최적화할 수 있게 되었으며, Web30K 및 Istella 데이터셋에서 기존의 직접 NDCG 최적화 방법(예: ApproxNDCG)을 능가하고, LambdaRank와 같은 강력한 기준 모델과의 성능를 유지하거나 초월한다.

ABSTRACT

Learning to Rank (LTR) algorithms are usually evaluated using Information Retrieval metrics like Normalised Discounted Cumulative Gain (NDCG) or Mean Average Precision. As these metrics rely on sorting predicted items' scores (and thus, on items' ranks), their derivatives are either undefined or zero everywhere. This makes them unsuitable for gradient-based optimisation, which is the usual method of learning appropriate scoring functions. Commonly used LTR loss functions are only loosely related to the evaluation metrics, causing a mismatch between the optimisation objective and the evaluation criterion. In this paper, we address this mismatch by proposing NeuralNDCG, a novel differentiable approximation to NDCG. Since NDCG relies on the non-differentiable sorting operator, we obtain NeuralNDCG by relaxing that operator using NeuralSort, a differentiable approximation of sorting. As a result, we obtain a new ranking loss function which is an arbitrarily accurate approximation to the evaluation metric, thus closing the gap between the training and the evaluation of LTR models. We introduce two variants of the proposed loss function. Finally, the empirical evaluation shows that our proposed method outperforms previous work aimed at direct optimisation of NDCG and is competitive with the state-of-the-art methods.

연구 동기 및 목표

• 학습 목표와 평가 지표 간의 불일치 문제를 해결하기 위해, 기존의 정보 검색 지표인 NDCG와 약간 관련성이 낮은 표준 손실 함수를 사용하는 랭킹 학습(LTR)에서의 문제를 다루는 것.
• 비가역적 정렬에 의존하는 핵심 정보 검색 평가 지표인 NDCG를 가역적으로 만들기 위해 직접 최적화를 가능하게 하는 것.
• 기울기 하강법을 사용한 엔드 투 엔드 학습을 지원하는 부드럽고 정확하며 효율적인 NDCG 근사치를 개발하는 것.
• 기존의 LTR 손실 함수, 특히 쌍별, 리스트 기반, 그리고 직접 NDCG 최적화 기준 모델과의 비교를 통해 제안된 방법의 실증적 타당성을 검증하는 것.

제안 방법

• NDCG의 비가역적 정렬 연산을 NeuralSort로 대체함으로써 핵심 방법이 구성되며, 이는 소프트 가역적 순열 행렬 기반의 정렬에 대한 미분 가능 근사치이다.
• 예측 점수에 대해 미분 가능한 정렬 연산을 적용함으로써, 랭킹 과정을 거쳐 기울기 역전파가 가능해지도록 NeuralNDCG를 구성한다.
• NeuralNDCG의 두 가지 변형이 도입되었으며, 하나는 표준 출력이고 다른 하나는 학습 안정화를 위한 탄젠트 활성화 출력이다.
• 계산 중 상위-k 항목을 마스킹함으로써, NDCG@5, NDCG@10 등 순위 기반 컷오프(예: NDCG@5, NDCG@10)를 지원하는 학습이 가능하다.
• 미분 가능한 근사치는 모델이 NDCG를 직접 최적화하도록 하는 스코링 함수를 학습할 수 있게 하며, 대체 손실 함수에 의존하지 않는다.
• 이 방법은 PyTorch에 구현되어 있으며, 재현 가능성을 위해 allRank 오픈소스 프레임워크에 통합되었다.

실험 결과

연구 질문

• RQ1 비가역적 정렬에 의존하는 NDCG의 가역적 근사치를 구성할 수 있는가? 이를 통해 순위 평가 지표를 직접 기울기 기반 최적화할 수 있는가?
• RQ2 NeuralNDCG의 성능는 기존의 LTR 손실 함수, 특히 쌍별 및 리스트 기반 기준 모델과 비교해 어떻게 되는가?
• RQ3 NeuralSort를 통한 정렬의 미분 가능한 근사치는 ApproxNDCG와 같은 이전 방법보다 더 정확하고 효과적인 NDCG 근사치를 제공하는가?
• RQ4 NeuralNDCG는 Web30K 및 Istella와 같은 표준 LTR 벤치마크에서 경쟁력 있거나 우수한 성능을 달성할 수 있는가?

주요 결과

• NeuralNDCG는 순위 컷오프(NDCG@5, NDCG@10)를 적용한 결과, Web30K 및 Istella 데이터셋에서 모든 지표에서 ApproxNDCG를 능가한다.
• Web30K에서 NeuralNDCG@10는 52.77의 NDCG@10 성능을 기록하여 평가된 모든 방법 중에서 가장 높은 성능를 달성하였으며, 이는 LambdaRank를 초월한다.
• Istella에서 NeuralNDCG의 최고 성능 변형(NeuralNDCG^T@10)은 71.02의 NDCG@10 성능을 기록하여, LambdaRank 및 ListNet을 포함한 모든 다른 방법을 초월한다.
• 온도 하이퍼파rameter τ를 최적 성능를 위해 1로 설정한 이후로도 하이퍼파rameter 조정이 필요 없을 정도로 강건하고 일관된 성능를 보였다.
• NeuralNDCG는 LambdaRank와 같은 최첨단 방법과 유사한 성능를 기록하여, 학습 목표와 평가 목표 간 격차를 메우는 데 효과적임을 입증하였다.
• allRank에 통합된 오픈소스 구현은 완전한 재현 가능성을 보장하며, 향후 미분 가능한 랭킹 지표 연구를 촉진한다.