[논문 리뷰] PiRank: Scalable Learning To Rank via Differentiable Sorting

Robin M. E. Swezey, Aditya Grover외 2명|arXiv (Cornell University)|2020. 12. 12.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

PiRank는 NeuralSort를 기반으로 한 연속적이고 온도 제어 가능성을 갖춘 정렬 연산자에 대한 유사화를 통해 랭킹 메트릭의 미분 가능성을 확보함으로써, 기울기 기반 최적화를 통한 엔드 투 엔드 훈련을 가능하게 하는 differentiable, temperature-controlled relaxation을 도입한다. 이는 영온도 한계에서 기존 랭킹 메트릭(NDCG 등)을 정확히 복원하며, 분할 정복 전략에 기반한 머지 소트 유사 전략을 통해 큰 리스트 크기에서도 효율적으로 확장되며, MSLR-WEB30K 및 Yahoo! C14을 포함한 산업 규모 벤치마크에서 이전 방법들을 능가한다.

ABSTRACT

A key challenge with machine learning approaches for ranking is the gap between the performance metrics of interest and the surrogate loss functions that can be optimized with gradient-based methods. This gap arises because ranking metrics typically involve a sorting operation which is not differentiable w.r.t. the model parameters. Prior works have proposed surrogates that are loosely related to ranking metrics or simple smoothed versions thereof, and often fail to scale to real-world applications. We propose PiRank, a new class of differentiable surrogates for ranking, which employ a continuous, temperature-controlled relaxation to the sorting operator based on NeuralSort [1]. We show that PiRank exactly recovers the desired metrics in the limit of zero temperature and further propose a divide and-conquer extension that scales favorably to large list sizes, both in theory and practice. Empirically, we demonstrate the role of larger list sizes during training and show that PiRank significantly improves over comparable approaches on publicly available internet-scale learning-to-rank benchmarks.

연구 동기 및 목표

• Learning-To-Rank (LTR) 모델에서 기울기 기반 최적화를 방해하는 NDCG 및 ARP와 같은 랭킹 메트릭의 비미분 가능성 문제를 해결하기 위해.
• 실제 랭킹 메트릭에 가깝게 근접하면서도 훈련에 효율적인 미분 가능성을 유지하는 서로서티브 손실 함수를 개발하기 위해.
• 전통적인 방법이 계산 복잡도로 인해 실패하는 산업 응용에서 흔한 큰 리스트 크기로 LTR 훈련을 확장하기 위해.
• 훈련 리스트 크기가 다양한 테스트 리스트 크기에서 모델의 일반화 능력과 성능에 미치는 영향을 조사하기 위해.
• 큰 리스트 크기에서도 하류 메트릭에 높은 정밀도를 유지하는 확장 가능한, 미분 가능한 프레임워크를 제공하기 위해.

제안 방법

• PiRank는 NeuralSort에 기반한 연속적이고 온도 제어 가능한 정렬 연산자에 기반한 유사화를 사용하여, 미분 가능한 랭킹 최적화를 가능하게 한다.
• 이 방법은 영온도 한계에서 목표 랭킹 메트릭(예: NDCG)으로 정확히 수렴하는 서로서티브 손실을 구성한다.
• 분할 정복 전략은 하위 리스트에 대해 유사화를 반복 적용하고, 상위-k 항목만 전파함으로써 계산 복잡도를 감소시킨다.
• 이 방법은 깊이 d에 대해 시간 복잡도 O(L^{1+1/d})를 달성하여 큰 리스트 크기 L로의 효율적 확장이 가능하다.
• 프레임워크는 TensorFlow로 구현되었으며, TensorFlow Ranking과 통합되어 대규모 데이터셋에서 엔드 투 엔드 훈련을 지원한다.
• 훈련 중에 기울기 분산과 최적화 안정성의 균형을 맞추기 위해 온도 안내링(annealing)을 사용한다.

실험 결과

연구 질문

• RQ1 영온도 한계에서 표준 랭킹 메트릭(NDCG 등)을 정확히 복원하는 미분 가능한 서로서티브 손실을 어떻게 구성할 수 있는가?
• RQ2 더 큰 테스트 리스트에서 평가할 때, 훈련 리스트 크기가 모델 성능에 어떤 영향을 미치는가?
• RQ3 매우 큰 리스트 크기(L > 100)로의 유사 정렬 유사화를 효율적으로 확장할 수 있으며, 메트릭 정밀도를 손상시키지 않을 수 있는가?
• RQ4 여러 랭킹 메트릭과 벤치마크에서 PiRank는 기존 LTR 방법과 비교해 성능 면에서 어떻게 다른가?
• RQ5 분할 정복 유사화 전략은 큰 리스트에서 계산 비용을 크게 감소시키면서도 성능을 유지할 수 있는가?

주요 결과

• PiRank는 MSLR-WEB30K 및 Yahoo! C14 벤치마크에서 16개의 랭킹 메트릭 및 변형(예: NDCG@k, MRR, OPA, ARP) 중 9개에서 모든 베이스라인을 뛰어넘는 성능을 보였다.
• 더 큰 훈련 리스트 크기(L_train)는 더 큰 테스트 리스트(L_test)에서 성능을 지속적으로 향상시키며, 특히 L_test ≫ k일 경우 가장 큰 성과를 보였다.
• L_train = 100에서 L_train = 10으로 훈련할 경우 NDCG@k에서 10-15%의 상대적 향상이 있었으며, 이는 특히 큰 L_test에서 두드러졌다.
• 분할 정복 전략은 훈련 시간을 O(L^2)에서 O(L^{1+1/d})로 감소시켜, d=3일 때 L_train = 15^3(3375개 항목)로 확장하는 데에 시간이 3배만 증가하는 등 효율적인 확장이 가능했다.
• PiRank의 기울기 추정치는 진짜 메트릭 값과 매우 유사하게 추적되며, 온도가 감소함에 따라 유사 손실 1−ℓ_PiRank-NDCG@k가 실제 NDCG@k와 정확히 따라갔다.
• 다양한 메트릭에서 높은 성능을 유지했으며, MRR는 L_train이 커질수록 단조롭게 향상되었고, OPA와 ARP는 더 미묘한 향상 양상을 보였다.