[논문 리뷰] Label Ranking with Abstention: Predicting Partial Orders by Thresholding Probability Distributions (Extended Abstract)

Weiwei Cheng, Eyke Hüllermeier|arXiv (Cornell University)|2011. 12. 02.

Bayesian Modeling and Causal Inference참고 문헌 5인용 수 4

한 줄 요약

이 논문은 확률적 모델(마ឡ로스 및 플래켓-루크)에서 유도된 상위 쌍 비교 확률을 임계값 처리함으로써 부분 순서를 예측하는 새로운 방법을 제안한다. 기존 방법들이 비대칭성과 순환성에 대한 사후 수리가 필요로 하는 반면, 이 방법은 모델 기반의 확률 분포를 통해 일관된 부분 순서를 보장하여 실험적으로 정확성과 완전성 사이의 더 나은 트레이드오프를 달성한다.

ABSTRACT

We consider an extension of the setting of label ranking, in which the learner is allowed to make predictions in the form of partial instead of total orders. Predictions of that kind are interpreted as a partial abstention: If the learner is not sufficiently certain regarding the relative order of two alternatives, it may abstain from this decision and instead declare these alternatives as being incomparable. We propose a new method for learning to predict partial orders that improves on an existing approach, both theoretically and empirically. Our method is based on the idea of thresholding the probabilities of pairwise preferences between labels as induced by a predicted (parameterized) probability distribution on the set of all rankings.

연구 동기 및 목표

• 비대칭성 또는 순환적인 부분 순서를 유도할 수 있는 기존의 레이블 랭킹과 기피 방법의 일관성 문제를 해결하기 위해.
• 사후 처리 수리를 필요로 하지 않고 유효한 부분 순서를 보장하는 방법을 개발하기 위해.
• 부분 순서 예측에서 정확성과 완전성 사이의 트레이드오프를 향상시키기 위해.
• 기존의 쌍별 임계값 처리 방법에 대한 이론적으로 타당하고 경험적으로 효과적인 대안을 제공하기 위해.

제안 방법

• 방법은 순서에 대한 플래켓-루크(PL) 또는 마 rallows 분포를 사용하여 쌍별 선호도 확률을 모델링한다.
• 모든 순서에서 $ y_i $ 가 $ y_j $ 를 앞서는 경우에 대해 $ P(y_i \succ y_j) $ 의 확률을 근사하여 계산한다.
• 각 쌍별 선호도 확률을 임계값 처리하여 부분 순서 $ Q $ 를 생성한다: $ Q(y_i, y_j) = 1 $ 이면 $ P(y_i \succ y_j) > q $, 그렇지 않으면 0.
• 임계값 $ q \in [0.5, 1) $ 는 완전성과 정확성 사이의 트레이드오프를 조절한다.
• 이론적 분석을 통해 전위 치환 불변 거리 측정을 사용한 PL 또는 마 rallows 모델에서의 임계값 처리는 항상 유효한 부분 순서를 도출함을 증명한다.
• 기존 방법과 달리, 이 방법은 구성상 순환성 및 전이성 수리를 방지한다.

실험 결과

연구 질문

• RQ1 순서의 확률적 모델이 사후 수리를 필요로 하지 않고 임계값 처리를 통해 일관된 부분 순서 예측을 보장할 수 있는가?
• RQ2 PL 또는 마 rallows 모델에서 유도된 쌍별 확률을 임계값 처리하면 $ q \in [0.5, 1) $ 의 모든 값에 대해 유효한 부분 순서가 도출되는가?
• RQ3 제안된 방법은 기존의 쌍별 임계값 처리 방법과 비교해 정확성과 완전성의 트레이드오프에서 어떤가?
• RQ4 이 방법은 완전성을 유지하거나 향상시키면서도 더 높은 예측 정확성을 달성할 수 있는가?

주요 결과

• 제안된 방법은 PL 또는 마 rallows 모델에서 유도된 쌍별 선호도 확률을 임계값 처리함으로써 $ q \in [0.5, 1) $ 의 모든 값에 대해 유효한 부분 순서를 보장하며, 순환성 또는 전이성 수리가 필요 없어진다.
• 이론적 분석을 통해 거리 측정의 전위 치환 성질이 도출되는 부분 순서의 일관성을 보장함을 확인하였다.
• UCI VOWEL 데이터셋에서의 경험적 결과는 기준 쌍별 방법에 비해 더 넓은 완전성 값 범위를 달성함을 보여준다.
• 확률적 접근은 정확성-완전성 트레이드오프를 향상시키며, 유사하거나 더 높은 완전성 수준에서 더 높은 감마 순위 상관계수를 기록한다.
• 높은 완전성 수준에서도 높은 정확성을 유지함으로써 불확실한 쌍별 비교에 대해 효과적인 기피 전략을 구현하고 있음을 나타낸다.
• 그림 1에서 보듯이, 다양한 임계값에서 기준 방법에 비해 정확성과 완전성 양면에서 모두 뛰어난 성능을 보였다.