[논문 리뷰] On the Consistency of Ordinal Regression Methods

Fabián Pedregosa, Francis Bach외 1명|arXiv (Cornell University)|2014. 08. 11.

Face and Expression Recognition참고 문헌 32인용 수 32

한 줄 요약

이 논문은 순서형 회귀 방법의 피셔 일致성에 대한 종합적인 이론적 분석을 제공하며, 서포트 벡터 순서형 회귀 및 최소 절대 편차와 같은 기존 접근법을 통합하고 확장하는 일반화된 모든 임계값(GAT) 대체 손실을 도입한다. 주요 기여는 제로에서의 볼록 함수 도함수를 기반으로 한 일치성의 특성화이며, 실험적 검증을 통해 GAT는 9개 데이터셋 중 7개에서 최소 제곱법보다 뛰어난 성능을 보였다.

ABSTRACT

Many of the ordinal regression models that have been proposed in the literature can be seen as methods that minimize a convex surrogate of the zero-one, absolute, or squared loss functions. A key property that allows to study the statistical implications of such approximations is that of Fisher consistency. Fisher consistency is a desirable property for surrogate loss functions and implies that in the population setting, i.e., if the probability distribution that generates the data were available, then optimization of the surrogate would yield the best possible model. In this paper we will characterize the Fisher consistency of a rich family of surrogate loss functions used in the context of ordinal regression, including support vector ordinal regression, ORBoosting and least absolute deviation. We will see that, for a family of surrogate loss functions that subsumes support vector ordinal regression and ORBoosting, consistency can be fully characterized by the derivative of a real-valued function at zero, as happens for convex margin-based surrogates in binary classification. We also derive excess risk bounds for a surrogate of the absolute error that generalize existing risk bounds for binary classification. Finally, our analysis suggests a novel surrogate of the squared error loss. We compare this novel surrogate with competing approaches on 9 different datasets. Our method shows to be highly competitive in practice, outperforming the least squares loss on 7 out of 9 datasets.

연구 동기 및 목표

• 순서형 회귀 방법에서 피셔 일치성 분석을 위한 통합 이론적 프레임워크 수립.
• 0-1, 절대, 제곱 오차 손실을 포함한 주요 대체 손실 함수의 일치성 특성화.
• 기존 이진 분류 결과를 일반화하여 대체 손실의 초과 위험 한계 유도.
• 제곱 오차 손실에 대해 일치하고 경험적으로 경쟁력 있는 새로운 대체 손실인 일반화된 모든 임계값(GAT) 제안.
• 순서형 회귀에서 표준 일치성 가정의 한계를 조사하고, 구조적 제약 조건 하에서 제한된 일치성 개념(F-일치성) 도입.

제안 방법

• 임계값 기반 결정 함수와 볼록 대체 손실을 사용하여 순서형 회귀를 통합 프레임워크 내에 수식화.
• 볼록 실수 함수를 통해 정의되는 일반화된 모든 임계값(GAT) 대체 손실을 도입하여 통합 가족의 대체 손실을 제공.
• 기존 이진 분류 결과를 확장하여 GAT의 피셔 일치성을 기저 볼록 함수의 제로에서의 도함수를 사용해 특성화.
• 분해 가능성 성질을 적용하여 바틀릿 등(2003)의 이진 분류 결과를 일반화한 초과 위험 한계 유도.
• 독립 동일분포 가정을 위반하는 구조적 결정 함수를 다루기 위해 F-일치성(파arametric 일치성) 도입.
• 20겹 교차검증을 사용하여 GAT 대체 손실을 최소 제곱법과 9개 데이터셋에서 경험적으로 평가.

실험 결과

연구 질문

• RQ1 순서형 회귀에서 사용되는 어떤 대체 손실 함수들이 피셔 일치성을 가지며, 그 일치성은 어떻게 특성화될 수 있는가?
• RQ2 서포트 벡터 순서형 회귀 및 ORBoosting와 같은 기존 방법을 일반화하는 통합 가족의 대체 손실을 구성할 수 있는가?
• RQ3 순서형 회귀 대체 손실의 초과 위험 한계는 이진 분류 결과와 어떻게 비교되는가?
• RQ4 일반화된 모든 임계값(GAT) 대체 손실이 표준 최소 제곱 손실보다 더 뛰어난 경험적 성능을 보이는가?
• RQ5 구조적 제약 조건 하에서 임계값 기반 결정 함수에 대해 제한된 일치성 개념(F-일치성)을 수립할 수 있는가?

주요 결과

• AT, IT, CL, LAD를 포함한 광범위한 순서형 회귀 대체 손실의 피셔 일치성은 볼록 함수의 제로에서의 도함수를 사용해 완전히 특성화된다.
• 일반화된 모든 임계값(GAT) 대체 손실은 제곱 오차 손실에 대해 일치하고 새로운 대체 손실로 도입되며, 기존 방법들을 통합한다.
• GAT 대체 손실의 초과 위험 한계는 바틀릿 등(2003)의 고전적 결과를 이진 분류에서 순서형 분류로 일반화한다.
• 경험적 평가 결과, GAT 대체 손실은 9개 데이터셋 중 7개에서 교차검증 오차 측면에서 최소 제곱 손실을 능가하는 것으로 나타났다.
• 윌코xon 부호 순위 검정을 통해 9개 데이터셋 중 3개에서 성능 차이의 통계적 유의성(p < 0.01)을 확인하였다.
• 구조적 제약 조건 하에서 두 개의 대체 손실에 대해 F-일치성을 수립하여, 순서형 회귀에 더 실용적인 일치성 프레임워크를 제안하였다.