[논문 리뷰] Learning to Rank With Bregman Divergences and Monotone Retargeting

Sreangsu Acharyya, Oluwasanmi Koyejo외 1명|arXiv (Cornell University)|2012. 10. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 20인용 수 13

한 줄 요약

이 논문은 훈련 점수의 단조성 변환과 매개변수화된 예측 함수 사이의 Bregman 발산을 최소화하는 새로운 랭킹 학습 방법을 제안한다. 이는 교차 투영을 사용하여 변환과 모델 매개변수를 동시에 최적화한다. 이 방법은 NDCG와의 통계적 일致성을 보장하며, 미묘한 조건 하에 전역 수렴을 달성하고, 벤치마크 데이터셋에서 최신의 NDCG-일致성 방법들을 능가한다.

ABSTRACT

This paper introduces a novel approach for learning to rank (LETOR) based on the notion of monotone retargeting. It involves minimizing a divergence between all monotonic increasing transformations of the training scores and a parameterized prediction function. The minimization is both over the transformations as well as over the parameters. It is applied to Bregman divergences, a large class of "distance like" functions that were recently shown to be the unique class that is statistically consistent with the normalized discounted gain (NDCG) criterion [19]. The algorithm uses alternating projection style updates, in which one set of simultaneous projections can be computed independent of the Bregman divergence and the other reduces to parameter estimation of a generalized linear model. This results in easily implemented, efficiently parallelizable algorithm for the LETOR task that enjoys global optimum guarantees under mild conditions. We present empirical results on benchmark datasets showing that this approach can outperform the state of the art NDCG consistent techniques.

연구 동기 및 목표

• NDCG 평가 지표와 통계적으로 일치하는 랭킹 학습 프레임워크를 개발하는 것.
• 비미분 가능하고 비볼록인 NDCG 기준을 최적화하는 데 도전하는 문제를 해결하기 위해, 실용적인 대체 목표 함수를 도입하는 것.
• 단조성 제약 조건을 Bregman 발산과 통합하여 랭킹 성능을 향상시키는 것.
• 전역 수렴 보장을 갖는 효율적이고 병렬 처리 가능한 알고리즘을 설계하는 것.
• 최신의 NDCG-일치성 랭킹 학습 기법들과의 실험적 검증을 수행하는 것.

제안 방법

• 이 방법은 훈련 관련 점수의 모든 단조적 증가 변환과 매개변수화된 예측 함수 사이의 Bregman 발산을 최소화한다.
• 교차 최적화를 수행한다: 한 단계는 Bregman 발산 유형과 무관하게 단조성 변환 공간에 투영한다.
• 다른 단계는 일반화선형모형의 매개변수 추정으로 줄어들어 효율적인 계산을 가능하게 한다.
• 알고리즘은 변환 학습과 모델 매개변수 학습을 분리하는 교차 투영 기반의 방법을 사용한다.
• 이 방법은 모든 Bregman 발산에 적용 가능하며, 이는 NDCG와 유일하게 일치하는 클래스임이 증명되어 있다.
• 데이터와 모델에 대한 미묘한 정규성 조건 하에 전역 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 Bregman 발산 기반 랭킹 학습 방법이 NDCG 지표와 통계적으로 일치할 수 있는가?
• RQ2 단조성 제약 조건을 랭킹을 위한 미분 가능한 최적화 프레임워크에 효과적으로 통합할 수 있는가?
• RQ3 제안된 교차 투영 알고리즘이 전역으로 수렴하고 효율적으로 확장 가능한가?
• RQ4 이 방법은 표준 벤치마크에서 기존의 NDCG-일치성 랭킹 학습 기법들을 능가할 수 있는가?
• RQ5 다양한 Bregman 발산이 랭킹 성능와 수렴 속도에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 데이터와 모델에 대한 미묘한 조건 하에 전역 최적 해로의 전역 수렴을 달성한다.
• 단조성 변환 업데이트와 매개변수 추정을 분리함으로써 알고리즘이 효율적으로 병렬 처리 가능하다.
• 벤치마크 데이터셋에서의 실험 결과, 이 방법은 최신의 NDCG-일치성 랭킹 학습 기법들을 능가한다.
• Bregman 발산의 사용은 이론적으로 확립된 NDCG 기준과의 통계적 일치성을 보장한다.
• 교차 투영 기반의 접근은 단조성 변환의 독립적 계산을 가능하게 하여 구현을 단순화한다.
• 다양한 Bregman 발산 유형에 대해 뛰어난 성능을 보이며, 발산 매개변수의 수동 조정이 필요 없다.