[논문 리뷰] Ranking Data with Continuous Labels through Oriented Recursive Partitions

Stéphan Clémençon, Mastane Achab|arXiv (Cornell University)|2018. 01. 17.

Advanced Statistical Methods and Models인용 수 3

한 줄 요약

이 논문은 연속 레이블 Y의 확률적 순서를 유지하는 스코링 함수를 사용하여 객체를 순서화하는 지도 학습 문제인 연속 순위 매기기(continuous ranking)를 소개한다. 성능 평가를 위해 IROC 곡선과 IAUC 기준을 제안하고, 방향성 있는 이진 트리를 통해 IAUC를 최적화하는 재귀 분할 알고리즘인 CRank를 개발하여, 실험적 테스트에서 회귀 및 순위 매기기 기준보다 뛰어난 성능을 보였다.

ABSTRACT

We formulate a supervised learning problem, referred to as continuous ranking, where a continuous real-valued label Y is assigned to an observable r.v. X taking its values in a feature space $\mathcal{X}$ and the goal is to order all possible observations x in $\mathcal{X}$ by means of a scoring function $s:\mathcal{X} ightarrow \mathbb{R}$ so that s(X) and Y tend to increase or decrease together with highest probability. This problem generalizes bi/multi-partite ranking to a certain extent and the task of finding optimal scoring functions s(x) can be naturally cast as optimization of a dedicated functional criterion, called the IROC curve here, or as maximization of the Kendall $τ$ related to the pair (s(X), Y ). From the theoretical side, we describe the optimal elements of this problem and provide statistical guarantees for empirical Kendall $τ$ maximization under appropriate conditions for the class of scoring function candidates. We also propose a recursive statistical learning algorithm tailored to empirical IROC curve optimization and producing a piecewise constant scoring function that is fully described by an oriented binary tree. Preliminary numerical experiments highlight the difference in nature between regression and continuous ranking and provide strong empirical evidence of the performance of empirical optimizers of the criteria proposed.

연구 동기 및 목표

• 이중 및 다중 순위 매기기의 일반화로 연속 레이블 Y를 갖는 연속 순위 매기기를 정식화하는 것.
• 연속 순위 매기기에서 최적 스코링 함수의 존재 조건을 이론적으로 규명하는 것.
• 연속 순위 매기기의 자연스럽고 분포에 종속되지 않는 성능 측정 기준으로 IROC 곡선과 IAUC를 제안하는 것.
• 방향성 있는 이진 분할을 통해 경험적 IAUC 기준을 최적화하는 재귀 통계 학습 알고리즘(CRank)을 개발하는 것.
• 연속 순위 매기기가 회귀와 본질적으로 다르며, IAUC 기반 학습이 더 뛰어난 순서화 성능을 제공함을 실험적으로 입증하는 것.

제안 방법

• 연속 레이블로 일반화된 ROC 곡선을 고려한 기능 기준인 IROC 곡선을 최적화하는 문제로 연속 순위 매기기를 수립한다.
• IAUC(integrated AUC)를 성능의 요약 스칼라 측정치로 정의하며, 이는 s(X)와 Y 사이의 기대 Kendall 타우와 동일하다.
• 방향성 있는 이진 트리를 통해 조각별로 일정한 스코링 함수를 만드는 재귀 분할 방법인 CRank 알고리즘을 제안한다.
• 각 노드에서 데이터의 부분 집합을 사용해 중앙값 기반 임계값을 활용해 이진 분류를 수행하고, 국소적으로 IAUC를 최적화한다.
• 복잡성과 성능의 균형을 맞추기 위해 교차 검증 기반의 가지치기 전략을 사용해 전체 트리 시퀀스에서 최적의 부분 트리를 선택한다.
• 일차원 단순 예제를 사용해 실험적으로 성능을 평가하며, CRank, Kendall 최적화된 CRank, CART 간의 IAUC, Kendall 타우, MSE를 비교한다.

실험 결과

연구 질문

• RQ1 연속 순위 매기기에서 최적 스코링 함수가 존재하는 조건는 무엇이며, 확률적 순서 측면에서 어떻게 특성화될 수 있는가?
• RQ2 연속 순위 매기기 설정에서 스코링 함수의 성능를 정량적으로 측정할 수 있는 방법은 무엇이며, 이중 분류에서의 AUC를 일반화하는 기준은 무엇인가?
• RQ3 재귀 분할이 연속 순위 매기기에서 IAUC를 최적화하도록 적응시킬 수 있으며, 이는 안정적이고 해석 가능한 스코링 함수를 제공하는가?
• RQ4 연속 순위 매기기가 표준 회귀와 본질적으로 어떻게 다를 수 있으며, 왜 MSE 최소화가 순위 매기기 작업에 부적절한가?
• RQ5 IAUC 최적화 학습의 경험적 성능은 회귀 및 Kendall 타우 최대화와 비교해 어떻게 나타나는가?

주요 결과

• CRank는 단순 예제에서 IAUC 0.95를 기록하여 CART(0.61)와 Kendall 최적화된 CRank(0.94)를 크게 앞서며, IAUC 최적화 능력이 뛰어남을 보였다.
• CRank의 Kendall 타우는 0.92로, CART의 0.58보다 뚜렷이 높아 진짜 연속 레이블과의 순위 상관관계가 뛰어남을 시사한다.
• CART는 가장 낮은 MSE(7.4×10⁻⁴)를 기록했지만, IAUC와 Kendall 타우는 열악하여, MSE 최소화가 순서 유지에 실패함을 입증한다.
• Kendall 최적화된 CRank는 높은 Kendall 타우(0.93)와 IAUC(0.94)를 기록하여, 실무에서 IAUC와 Kendall 타우가 밀접하게 관련되어 있음을 확인한다.
• 경험적 결과는 제곱오차 기준(MSE)이 연속 순위 매기기에는 부적절하며, 정확한 순서화에 필수적인 국소 진동을 포착하지 못함을 보여준다.
• CRank 알고리즘은 방향성 있는 재귀 분할을 통해 조각별 일정한 스코링 함수를 성공적으로 학습하여 계층적이고 해석 가능한 순위 매기기 모델을 생성한다.