[논문 리뷰] WMRB: Learning to Rank in a Scalable Batch Training Approach

Kuan Liu, Prem Natarajan|arXiv (Cornell University)|2017. 11. 10.

Machine Learning and Algorithms참고 문헌 2인용 수 4

한 줄 요약

WMRB는 WARP의 온라인 샘플링을 대체하여 샘플된 아이템 배치 기반으로 미분 가능하고 편향이 없는 마진 랭크 추정치를 계산하는 스케일러블 배치 학습 방법을 제안한다. 이는 빈번한 병렬 업데이트와 로그 변환된 마진 랭크를 통한 순서 민감한 손실을 가능하게 하여 대규모 데이터셋에서 특히 뛰어난 정확도와 학습 효율성을 달성한다.

ABSTRACT

We propose a new learning to rank algorithm, named Weighted Margin-Rank Batch loss (WMRB), to extend the popular Weighted Approximate-Rank Pairwise loss (WARP). WMRB uses a new rank estimator and an efficient batch training algorithm. The approach allows more accurate item rank approximation and explicit utilization of parallel computation to accelerate training. In three item recommendation tasks, WMRB consistently outperforms WARP and other baselines. Moreover, WMRB shows clear time efficiency advantages as data scale increases.

연구 동기 및 목표

• 순차적이고 온라인 샘플링에 의존하여 고분산과 느린 수렴을 겪는 WARP의 스케일러비리티 한계를 해결한다.
• 미니배치 처리를 위한 랭크 추정과 손실 계산을 재구성하여 효율적이고 병렬화된 학습을 가능하게 한다.
• 상위 랭크된 아이템을 우선시하는 미분 가능하고 랭크 민감한 손실 함수를 도입하여 랭킹 정확도를 향상시킨다.
• 새로운 랭크 추정치를 사용하는 배치 기반 학습이 온라인 페어웨이즈 방법과 표준 배치 기반 베이스라인 모두보다 정확도와 학습 효율성에서 뛰어나다는 것을 입증한다.
• GPU 가속 배치 계산을 활용하여 대규모 추천 작업에서 더 나은 일반화와 더 빠른 수렴을 달성한다.

제안 방법

• 샘플된 아이템 배치에서 마진 기반 랭크 근사치를 계산하기 위해 $\text{rank}^{\text{wmrb}}_y(f,x,\textbf{y}) = \frac{|\textbf{Y}|}{|\textbf{Z}|} \sum_{y' \in \textbf{Z}} |1 - f_y(x) + f_{y'}(x)|_+ \mathbf{I}(y' \in \bar{\textbf{y}})$ 를 제안한다. 여기서 $\textbf{Z}$ 는 무작위로 선택된 아이템의 부분집합이다.
• WARP의 확률적 샘플링을 대체하여 분산을 줄이고 병렬 처리를 가능하게 하기 위해 결정론적이고 배치로 계산 가능한 마진-랭크 추정치를 도입한다.
• 순서가 중요한 가중 평균 손실의 민감도를 모방하기 위해 $L^{\text{wmrb}}(x,y) = \log(r_y + 1)$ 를 도입한다. 여기서 $r_y$ 는 추정된 마진 랭크이다.
• 사용자와 배치 내 아이템에 대한 모델 점수를 동시에 계산하는 샘플드-배치 전략을 사용하여 GPU 활용을 효율적으로 한다.
• 백프로파게이션과 표준 최적화를 위한 엔드 투 엔드 학습을 가능하게 하기 위해 랭크의 연속적이고 미분 가능한 근사치를 활용한다.
• 로그 스케일링을 통해 작은 랭크에 더 민감한 손실을 설계하여 랭크 리스트 상단에서의 고정밀도 추천을 우선시한다.

실험 결과

연구 질문

• RQ1 새로운 랭크 추정치를 사용하는 배치 학습 방법이 WARP와 같은 온라인 학습 방법보다 정확도와 학습 속도에서 뛰어나게 되는가?
• RQ2 WARP의 확률적 샘플링을 결정론적이고 배치 기반의 마진-랭크 추정치로 대체함으로써 분산이 감소하고 랭크 추정 정확도가 향상되는가?
• RQ3 제안된 미분 가능하고 랭크 민감한 손실 함수가 표준 배치 손실 대비 상위-k 추천 성능을 얼마나 향상시키는가?
• RQ4 온라인 페어웨이즈 방법 대비 배치 기반 WMRB 방법의 학습 효율성은 데이터 크기가 증가함에 따라 어떻게 변화하는가?
• RQ5 병렬 처리를 통해 대규모 추천 데이터셋에서 훈련 시간을 크게 줄이면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• WMRB는 XING, Yelp, ML-20m 세 가지 벤치마크 데이터셋에서 상태최저 성능을 달성하여, 모든 평가 지표에서 WARP, A-WARP, 그리고 배치 기반 CE 방법을 모두 능가한다.
• Recall@30에서 WMRB는 XING에서 WARP 대비 8.6% 향상되었고, Yelp에서는 18.6%, ML-20m에서는 9.8% 향상되어 일관된 정확도 향상을 보였다.
• 대규모 데이터셋에서 훈련 시간을 크게 단축시켰다: XING에서는 LightFM 대비 3.3배 빠르고, Yelp에서는 2.5배 빠르며, 높은 에포크 별 계산량에도 불구하고 성능을 유지했다.
• 시뮬레이션 결과(그림 1)에 따르면, WMRB의 마진-랭크 추정치 분산은 WARP의 온라인 추정치보다 상당히 낮으며, 특히 고랭크 아이템에서 두드러진다.
• WMRB의 훈련 시간은 데이터 크기에 따라 온라인 방법보다 더 유리하게 스케일링된다. XING에서 총 훈련 시간은 LightFM의 31.2시간에서 WMRB의 20.7시간으로 감소하여 명확한 확장성 이점을 보였다.
• WMRB의 미분 가능하고 로그 변환된 손실은 낮은 랭크 아이템에 효과적으로 우선순위를 부여하여, 상위-k 위치에서의 정밀도를 향상시켰다 (예: P@5에서 WARP 대비 0.4~0.5 포인트 향상)