[논문 리뷰] A Structured Prediction Approach for Label Ranking

Anna Korba, Alexandre Garcia외 1명|arXiv (Cornell University)|2018. 07. 06.

Machine Learning and Data Classification참고 문헌 1인용 수 18

한 줄 요약

이 논문은 순위 데이터를 위한 전문화된 임bedding을 사용하여 최소제곱 오차 대체 손실을 활용한 구조적 예측 방법을 제안한다. Kemeny, Lehmer, Hamming 세 가지 임bedding을 도입하여 효율적인 역상 복원을 가능하게 하고, 벤치마크 데이터셋에서 최신 기준을 초월하는 성능을 달성하며, 다양한 데이터셋에서 켄달의 τ 점수가 항상 0.92 이상을 기록한다.

ABSTRACT

We propose to solve a label ranking problem as a structured output regression task. We adopt a least square surrogate loss approach that solves a supervised learning problem in two steps: the regression step in a well-chosen feature space and the pre-image step. We use specific feature maps/embeddings for ranking data, which convert any ranking/permutation into a vector representation. These embeddings are all well-tailored for our approach, either by resulting in consistent estimators, or by solving trivially the pre-image problem which is often the bottleneck in structured prediction. We also propose their natural extension to the case of partial rankings and prove their efficiency on real-world datasets.

연구 동기 및 목표

• 구조적 출력 공간에서의 레이블 순위 매기기 문제를 구조적 출력 예측 문제로 다루는 것.
• 일致한 추정자와 해석 가능한 역상 해결책을 보장하는 순위 데이터를 위한 임bedding을 개발하는 것.
• 부분적 및 완전하지 않은 순위, 예를 들어 상위-k 또는 쌍별 비교와 같은 경우로 프레임워크를 확장하는 것.
• 제안된 임bedding과 회귀 프레임워크에 대한 이론적 보장과 알고리즘 효율성 제공.
• 실세계 데이터셋에서 최신 기준 방법들과의 비교를 통한 방법의 실증적 검증.

제안 방법

• 최소제곱 오차 대체 손실 함수를 사용하여 레이블 순위 매기기를 구조적 출력 회귀 문제로 공식화한다.
• 특화된 특징 매핑(임bedding)을 활용하여 힐버트 공간 내에서 순위를 표현한다: Kemeny, Lehmer, Hamming 임bedding.
• Kemeny 임bedding을 사용하여 제곱 켄달의 τ 거리의 합을 최소화함으로써 일致한 추정을 가능하게 한다.
• Lehmer 임bed딩을 적용하여 역매핑을 통한 역상 복원을 간단히 구현함으로써, NP-난해한 최적화를 피한다.
• Hamming 임bed딩을 부분적 순위에 사용하며, 볼록 최적화 문제를 푸는 역상 단계를 수행한다.
• 임bedding 단계와 회귀기(kNN 또는 Ridge)를 조합하여 이중 단계 학습 파이프라인을 구성한다: 힐버트 공간 내에서의 회귀 후 역상 복원.

실험 결과

연구 질문

• RQ1 최소제곱 오차 대체 손실을 사용하여 레이블 순위 매기기를 효과적으로 구조적 예측 문제로 프레임워크할 수 있는가?
• RQ2 제안된 임bedding(Kemeny, Lehmer, Hamming)이 일치하는 추정자와 효율적인 역상 복원을 보장하는가?
• RQ3 제안된 임bedding과 역상 단계의 알고리즘 복잡도는 기존 방법들과 비교해 어떻게 되는가?
• RQ4 표준 벤치마크 데이터셋에서의 실증적 성능은 켄달의 τ 기준으로 어떻게 평가되는가?
• RQ5 프레임워크는 상위-k 또는 쌍별 순위와 같은 부분적 및 완전하지 않은 순위로 자연스럽게 확장될 수 있는가?

주요 결과

• Kemeny 및 Lehmer 기반 모델은 모든 벤치마크 데이터셋에서 평균 켄달의 τ 점수가 0.92를 초월하며, Kemeny 기반 kNN 모델은 저자성 데이터셋에서 0.94±0.02의 성능을 기록한다.
• Lehmer 임bedding은 kNN를 사용한 예측에서 O(KN) 복잡도를 제공하여, 이전 방법이 요구하는 O(NK log K) 정렬 단계보다 훨씬 빠르다.
• Hamming 임bedding은 켄달의 τ 기준으로는 성능이 열악하지만, 해밍 거리 최소화 측면에선 뛰어나므로 다른 평가 기준에 적합함을 시사한다.
• Ridge 회귀와 Lehmer 임bed딩을 조합한 제안 프레임워크는 저자성 데이터셋에서 0.92±0.02의 켄달의 τ 점수를 기록하며, 일부 경우에서 최신 기준 Cheng PL 방법(0.94±0.02)을 초월한다.
• 와인 및 아이리스 데이터셋과 같은 데이터셋에서 Random Forest Label Ranking(Zhou RF)와 같은 최근 접근법과도 경쟁 가능성을 보였다.
• 이론적 분석을 통해 초과 대체 손실 제어가 진짜 손실 제어를 의미함을 확인하여, 이 방법의 일치성에 대한 타당성을 입증하였다.