[논문 리뷰] Ranking Median Regression: Learning to Order through Local Consensus

Stéphan Clémençon, Anna Korba외 1명|arXiv (Cornell University)|2017. 10. 31.

Game Theory and Voting Systems참고 문헌 22인용 수 3

한 줄 요약

이 논문은 입력 특징을 기반으로 사용자 선호도를 순열로 예측하기 위한 랭킹 메디안 회귀를 소개한다. 이는 국소적 킴슨 메디안을 활용하여 조건부 랭킹 메디안을 근사함으로써 이루어지며, 이론적 학습 속도를 확립하고, 효율적인 k-NN 및 트리 기반 알고리즘(CRIT)을 제안한다. 이 알고리즘들은 시뮬레이션 및 실제 GSS 데이터에서 기존 모델들을 능가하며, 더 낮은 경험적 케נדל 거리 위험을 기록한다.

ABSTRACT

This article is devoted to the problem of predicting the value taken by a random permutation $Σ$, describing the preferences of an individual over a set of numbered items $\{1,\; \ldots,\; n\}$ say, based on the observation of an input/explanatory r.v. $X$ e.g. characteristics of the individual), when error is measured by the Kendall $τ$ distance. In the probabilistic formulation of the 'Learning to Order' problem we propose, which extends the framework for statistical Kemeny ranking aggregation developped in \citet{CKS17}, this boils down to recovering conditional Kemeny medians of $Σ$ given $X$ from i.i.d. training examples $(X_1, Σ_1),\; \ldots,\; (X_N, Σ_N)$. For this reason, this statistical learning problem is referred to as extit{ranking median regression} here. Our contribution is twofold. We first propose a probabilistic theory of ranking median regression: the set of optimal elements is characterized, the performance of empirical risk minimizers is investigated in this context and situations where fast learning rates can be achieved are also exhibited. Next we introduce the concept of local consensus/median, in order to derive efficient methods for ranking median regression. The major advantage of this local learning approach lies in its close connection with the widely studied Kemeny aggregation problem. From an algorithmic perspective, this permits to build predictive rules for ranking median regression by implementing efficient techniques for (approximate) Kemeny median computations at a local level in a tractable manner. In particular, versions of $k$-nearest neighbor and tree-based methods, tailored to ranking median regression, are investigated. Accuracy of piecewise constant ranking median regression rules is studied under a specific smoothness assumption for $Σ$'s conditional distribution given $X$.

연구 동기 및 목표

• 입력 특징에서 사용자 선호도 순열을 예측하는 문제를 통계적 학습 과제로 체계화하는 것.
• 입력에 따라 달라지는 선호도를 고려한 조건부 설정으로 통계적 킴슨 순위 집계를 확장하는 것.
• 국소적 공감 기반으로 계산이 효율적이고 해석 가능한 랭킹 예측 모델을 개발하는 것.
• 조각별 상수 랭킹 규칙에 대한 이론적 학습 속도와 근사 한계를 확립하는 것.
• 시뮬레이션 데이터와 실제 GSS 설문 데이터에서 접근 방식을 경험적으로 검증하는 것.

제안 방법

• 입력 X가 주어졌을 때 조건부 킴슨 메디안를 찾기 위해 케נדל τ 거리에 대한 경험적 리스크 최소화 문제로 랭킹 메디안 회귀를 수립한다.
• 국소적 킴슨 공감을 도입: 입력 공간의 국소적 영역 내에서 메디안을 계산하여 조건부 메디안를 근사한다.
• 학습 데이터 포인트의 이웃 영역에서 국소적 킴슨 메디안를 계산함으로써 k-최근접 이웃을 랭킹 회귀에 적응시킨다.
• CRIT 알고리즘(공감 랭킹 인그 트리)을 제안: 입력 공간을 반복적으로 분할하여 국소 랭킹 리스크를 최소화하는 트리 기반 방법이다.
• 노드의 불순도 측도를 국소 킴슨 메디안 리스크 기반으로 정의하여, 영역 내 예측 랭킹의 변동성을 낮추는 데 도움을 주며, 트리 분할을 이끌어낸다.
• 실험에서 기준 모델로 플래켓-루시 모델과 K-평균 클러스터링을 사용한다.

실험 결과

연구 질문

• RQ1 입력 특징이 주어졌을 때 순열을 조건부 킴슨 메디안로 예측하는 데 이론적 기초는 무엇인가?
• RQ2 킴슨 메디안의 국소 공감 근사가 랭킹 메디안 회귀에서 빠른 학습 속도를 달성할 수 있는가?
• RQ3 국소 킴슨 메디안 기반의 k-NN 및 트리 기반 방법은 기존 모델 대비 예측 정확도에서 어떻게 비교되는가?
• RQ4 CRIT 알고리즘의 분할을 통해 실제 선호도 데이터에서 입력 특징의 구조적 패턴은 무엇으로 드러나는가?
• RQ5 부드러움 가정 하에 조각별 상수 예측 규칙이 최적의 랭킹 메디안 함수를 얼마나 잘 근사할 수 있는가?

주요 결과

• GSS 데이터셋에서 CRIT 알고리즘은 평균 경험적 리스크 2.763을 기록하여 기존 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 동일한 데이터셋에서 k-NN 방법은 평균 경험적 리스크 3.235를 기록하여 실제 선호도 데이터에서의 효과성을 입증했다.
• φ ≥ 2 인 시뮬레이션 데이터에서 k-NN 및 CRIT는 모두 입력 공간의 진짜 조각별 상수 분할을 성공적으로 복원했다.
• CRIT 알고리즘의 분할은 의미 있는 군집을 드러냈다: 첫 번째 수준에서 직업, 두 번째 수준에서 인종, 낮은 수준에서 교육 수준이 그룹화되었으며, 이는 이전 분석 결과와 일치했다.
• 이론적 분석 결과, 조건부 쌍별 확률 P(Σ(i) < Σ(j) | X = x)가 리프시츠 연속일 경우 빠른 학습 속도를 달성할 수 있음을 보였다.
• 국소 공감 접근법은 기존의 킴슨 메디안 해법기를 활용하여 효율적인 계산을 가능하게 하여, 이론적으로도 타당하고 해석 가능한 방법이 되었다.