[논문 리뷰] Generalization error bounds for learning to rank: Does the length of document lists matter?

Ambuj Tewari, Sougata Chaudhuri|arXiv (Cornell University)|2016. 03. 06.

Machine Learning and Algorithms참고 문헌 17인용 수 6

한 줄 요약

이 논문은 $∞ll_{\infty}$ 노름을 사용해 대체 손실 함수의 리프시츠 상수를 정의할 경우, 질의 수준의 랭킹 학습에 대한 일반화 오차 한계가 문서 리스트 길이가 증가함에 따라 본질적으로 악화되지 않음을 보여준다. 저자들은 ListNet과 같은 인기 있는 방법에 대해 더 날카운 한계를 유도하고, 부드러움과 $∞ll_{1}$ 정규화가 차원에 종속되지 않고 $O(1/n)$ 수준의 빠른 수렴 속도를 가능하게 하며, 더 긴 리스트가 반드시 일반화 성능을 악화시킨다는 가정을 도전한다.

ABSTRACT

We consider the generalization ability of algorithms for learning to rank at a query level, a problem also called subset ranking. Existing generalization error bounds necessarily degrade as the size of the document list associated with a query increases. We show that such a degradation is not intrinsic to the problem. For several loss functions, including the cross-entropy loss used in the well known ListNet method, there is \emph{no} degradation in generalization ability as document lists become longer. We also provide novel generalization error bounds under $\ell_1$ regularization and faster convergence rates if the loss function is smooth.

연구 동기 및 목표

• 문서 리스트 길이가 증가함에 따라 랭킹 학습에 대한 일반화 오차 한계가 반드시 악화되는지 조사하기.
• 더 긴 리스트가 본질적으로 더 나쁜 일반화 성능을 초래한다는 일반적인 가정에 도전하기.
• 기존의 표준 $∞ll_{2}$ 노름 대신 $∞ll_{\infty}$ 노름을 사용해 리프시츠 상수를 재정의함으로써 더 날카운 일반화 한계를 도출하기.
• 새로운 설정, 즉 $∞ll_{1}$ 정규화와 부드러운 손실 함수에 대한 일반화 분석을 확장하기.
• ListNet과 교차 엔트로피와 같은 널리 사용되는 대체 손실 함수에 대해 공식적이고 향상된 한계 제공하기.

제안 방법

• 점수 벡터에 대해 $∞ll_{\infty}$ 노름을 사용해 대체 손실 함수의 리프시츠 상수를 정의함으로써, 리스트 길이로부터 이론적 한계를 분리한다.
• 라데마처 복잡도와 커버링 수 추론을 사용해 다양한 설정 하에서 일반화 오차 한계를 도출한다.
• 온라인 회귀 분석과 국소 라데마처 복잡도를 적용해 비볼록 및 부드러운 손실 함수에 대한 한계를 유도한다.
• 가중치 노름과 기대 손실에 대한 제약 조건이 존재하는 상황에서 복잡도를 제어하기 위해 새로운 손실 클래스 $φ_{\phi,2}(r)$ 를 도입한다.
• 손실 함수의 $∞ll_{\infty}$ 노름에 대한 부드러움 성질을 활용해 더 빠른 수렴 속도를 달성한다.
• $∞ll_{1}$ 정규화 하에서 차원에 거의 종속되지 않는 일반화 한계를 도출하며, 고차원 특징으로의 확장성 향상.

실험 결과

연구 질문

• RQ1 질의 수준의 랭킹 학습에서 문서 리스트 길이가 일반화 오차 한계를 본질적으로 악화시키는가?
• RQ2 다른 노름을 사용해 리프시츠 상수를 재정의함으로써 일반화 한계를 리스트 길이에 종속되지 않게 만들 수 있는가?
• RQ3 부드러운 대체 손실 함수는 랭킹 학습에서 더 빠른 수렴 속도를 가능하게 하는가? 만약 그렇다면, 그 속도는 무엇인가?
• RQ4 $∞ll_{1}$ 정규화가 특징 차원 수에 거의 종속되지 않는 일반화 한계를 이끌 수 있는가?
• RQ5 ListNet과 같은 기존의 인기 있는 방법들이 리프시츠 분석에 $∞ll_{\infty}$ 노름을 사용할 경우 더 날카운 일반화 한계를 얻을 수 있는가?

주요 결과

• 리프시츠 상수가 $∞ll_{\infty}$ 노름에 대해 정의될 경우, 랭킹 학습에 대한 일반화 오차 한계는 문서 리스트 길이에 본질적으로 종속되지 않는다.
• ListNet 교차 엔트로피 손실의 경우 일반화 한계는 리스트 길이에 영향을 받지 않으며, 이는 이전의 악화 가정과 정면으로 배치된다.
• $∞ll_{\infty}$ 노름에 대한 손실 함수의 부드러움 성질을 바탕으로, 논문은 최적의 수렴 속도인 $O(1/n)$ 수준을 달성한다.
• $∞ll_{1}$ 정규화 하에서 일반화 한계는 거의 차원에 종속되지 않으며, $\tilde{O}(\sqrt{D_0/n})$ 의 형태로 스케일링되며, 여기서 $D_0$ 는 부드러움과 특징 노름에 의존한다.
• ListNet과 기타 일반적인 손실 함수에 대한 한계는 이전 결과보다 상당히 날카롭게 개선되었으며, 특히 고차원 또는 긴 리스트 설정에서 두드러진다.
• 이론적 분석은 $∞ll_{\infty}$ 노름 기반 리프시츠 정의를 사용할 경우 랭킹 학습 알고리즘의 일반화 성능이 문서 리스트 길이에 의해 본질적으로 제한되지 않는다는 것을 확인한다.