[논문 리뷰] Toward Understanding Privileged Features Distillation in Learning-to-Rank

Shuo Yang, Sujay Sanghavi외 3명|arXiv (Cornell University)|2022. 09. 19.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 러닝-투-랭크에서 전문 지식 특징 추출(PFD)을 조사한다. 여기서는 일반 특징과 전문 지식 특징(예: 클릭 이력)을 모두 사용해 훈련된 교사 모델이 일반 특징만 사용하는 학생 모델로 지식을 전달한다. 주요 발견은 비단조화적인 성능 곡선이다. 전문 지식 특징의 예측 능력이 증가함에 따라 학생의 성능은 처음에는 향상되지만, 이후 교사의 예측 분산이 높아지면서 성능이 떨어진다.

ABSTRACT

In learning-to-rank problems, a privileged feature is one that is available during model training, but not available at test time. Such features naturally arise in merchandised recommendation systems; for instance, "user clicked this item" as a feature is predictive of "user purchased this item" in the offline data, but is clearly not available during online serving. Another source of privileged features is those that are too expensive to compute online but feasible to be added offline. Privileged features distillation (PFD) refers to a natural idea: train a "teacher" model using all features (including privileged ones) and then use it to train a "student" model that does not use the privileged features. In this paper, we first study PFD empirically on three public ranking datasets and an industrial-scale ranking problem derived from Amazon's logs. We show that PFD outperforms several baselines (no-distillation, pretraining-finetuning, self-distillation, and generalized distillation) on all these datasets. Next, we analyze why and when PFD performs well via both empirical ablation studies and theoretical analysis for linear models. Both investigations uncover an interesting non-monotone behavior: as the predictive power of a privileged feature increases, the performance of the resulting student model initially increases but then decreases. We show the reason for the later decreasing performance is that a very predictive privileged teacher produces predictions with high variance, which lead to high variance student estimates and inferior testing performance.

연구 동기 및 목표

• 테스트 시 전문 지식 특징이 사용 불가능한 상황에서 전문 지식 특징 추출(PFD)의 효과성과 한계를 조사하는 것.
• 실제로 PFD가 노드-디스틸레이션, 자기-디스틸레이션, 일반화된 디스틸레이션(GenD)과 같은 기준 모델보다 뛰어나게 되는 이유를 이해하는 것.
• PFD 성능의 배경 메커니즘, 특히 교사 예측 분산의 역할을 밝혀내는 것.
• 전문 지식 특징의 예측 능력이 높아도 PFD가 실패하는 조건을 분석하는 것.

제안 방법

• 일반 특징과 전문 지식 특징을 모두 사용해 훈련된 교사 모델을 통해 훈련 데이터에 대한 소프트 레이블을 생성한다.
• 일반 특징만 사용하는 학생 모델을 훈련시키며, 지표 레이블과 교사 예측 레이블을 가중 조합으로 결합한 손실 함수를 사용한다.
• PFD 손실 가중치(α)와 레이블 희소성의 영향을 분석하기 위해 추상화 실험을 수행한다.
• 선형 모델을 기반으로 이론적 분석을 수행해 학생 모델의 추정 오차를 유도하고 분산 원인을 규명한다.
• 잠재 변수를 사용해 데이터 생성 과정을 모델링하며, 레이블 분산을 노이즈와 전문 지식 특징에 의해 설명 가능한 성분으로 분해한다.
• PFD 하에서 학생 모델의 기대 추정 오차에 대한 폐쇄형 표현식을 유도하여, 편향 감소와 분산 증가 사이의 상충 관계를 보여준다.

실험 결과

연구 질문

• RQ1 왜 PFD는 다양한 러닝-투-랭크 데이터셋에서 자기-디스틸레이션, 일반화된 디스틸레이션(GenD) 등 여러 기준 모델보다 뛰어나게 성능을 내는가?
• RQ2 전문 지식 특징의 예측 능력은 PFD에서 생성된 학생 모델의 성능에 어떤 영향을 미치는가?
• RQ3 전문 지식 특징이 가장 예측 능력이 높을수록 학생 성능이 가장 좋지 않은 비단조화적인 성능 곡선이 나타나는 이유는 무엇인가?
• RQ4 왜 전문 지식 특징만 사용하는 교사 모델을 사용하는 일반화된 디스틸레이션(GenD)은 실질적으로 PFD보다 열 劣하는가?
• RQ5 PFD에서 교사 예측의 분산은 학생 모델의 일반화 오차에 어떤 영향을 미치는가?

주요 결과

• PFD는 세 개의 공개 러닝-투-랭크 데이터셋(Yahoo, Istella, MSLRWeb30k)과 산업 규모의 아마존 검색 로그 데이터셋에서 노-디스틸레이션, 자기-디스틸레이션, 일반화된 디스틸레이션, 최적화된 미세조정 전처리 모델 등 모든 기준 모델보다 뛰어난 성능을 보였다.
• PFD의 성능은 전문 지식 특징의 예측 능력과 비단조화적인 관계를 보였다. 예측 능력이 증가함에 따라 성능은 처음에는 향상되다가, 이후 감소하는 경향을 보였다.
• 예측 능력이 매우 높은 전문 지식 특징을 사용할 경우 성능 저하가 발생하는 이유는 교사의 예측 분산이 높아지기 때문이다. 이는 학생의 매개변수 추정치의 분산이 커지고 일반화 성능이 악화되기 때문이다.
• 이론적 분석 결과, PFD는 전문 지식 특징이 설명하는 레이블 분산 부분을 학생이 학습함으로써 학생의 추정 분산을 줄여 일반화 성능을 향상시킨다.
• 일반화된 디스틸레이션(GenD)은 전문 지식 특징과 일반 특징이 상관이 없을 경우 교사의 예측이 정보 없는 노이즈가 되며, 일반 특징이 없어 예측 품질 향상에 기여하지 못하므로 PFD보다 열 劣한다.
• 아마존 데이터에서의 실증 결과는 가장 예측 능력이 높은 특징(예: 'add-to-cart')을 사용하더라도 PFD 성능이 최고가 되지 않는다는 점을 확인했으며, 이는 이론 및 시뮬레이션 실험에서 관찰된 비단조화적 행동을 뒷받침한다.