[논문 리뷰] Generalization error for multi-class margin classification

Xiaotong Shen, Lifeng Wang|arXiv (Cornell University)|2007. 08. 27.

Face and Expression Recognition인용 수 7

한 줄 요약

이 논문은 다중 클래스 마진 분류에서 일반화 오차율을 분석하기 위한 이론적 프레임워크를 수립하며, 피셔 일致성에 의존하지 않고 위험 최소화자 f_V에 초점을 맞춘 새로운 접근법을 제안한다. 근사 오차와 추정 오차에 의존하는 일반화 오차에 대한 상한을 유도하여 선형 분류에서는 임의로 빠른 수렴 속도를 보이고, p ≪ exp(n) 조건 하에서 고차원 특성 선택에 대한 수렴 속도를 제시한다.

ABSTRACT

In this article, we study rates of convergence of the generalization error of multi-class margin classifiers. In particular, we develop an upper bound theory quantifying the generalization error of various large margin classifiers. The theory permits a treatment of general margin losses, convex or nonconvex, in presence or absence of a dominating class. Three main results are established. First, for any fixed margin loss, there may be a trade-off between the ideal and actual generalization performances with respect to the choice of the class of candidate decision functions, which is governed by the trade-off between the approximation and estimation errors. In fact, different margin losses lead to different ideal or actual performances in specific cases. Second, we demonstrate, in a problem of linear learning, that the convergence rate can be arbitrarily fast in the sample size $n$ depending on the joint distribution of the input/output pair. This goes beyond the anticipated rate $O(n^{-1})$. Third, we establish rates of convergence of several margin classifiers in feature selection with the number of candidate variables $p$ allowed to greatly exceed the sample size $n$ but no faster than $\exp(n)$.

연구 동기 및 목표

• 이중 클래스 설정을 초월한 다중 클래스 마진 분류에서 일반화 오차에 대한 이론적 프레임워크를 개발하는 것.
• 피셔 일치성의 한계를 극복하기 위해 베이즈 결정 함수 대신 위험 최소화자 f_V에 초점을 맞추는 것.
• 일반화 성능에서 근사 오차와 추정 오차 간의 트레이드오프를 정량화하는 것.
• p >> n 이지만 p ≤ exp(n) 인 고차원 설정에서 마진 분류기의 수렴 속도를 확립하는 것.
• 입력/출력 쌍의 공동 분포에 따라 수렴 속도가 임의로 빠를 수 있음을 보여주는 것.

제안 방법

• 피셔 일치성 대신 Regret( f̂, f_V )를 목표로 하는 새로운 이론적 접근법을 제안하며, 여기서 f_V는 후보 함수 집합 F 위에서의 위험 최소화자이다.
• 다양한 이중 클래스 마진 일반화를 통합하기 위해 일반화된 다중 클래스 마진 손실을 도입한다.
• 일반화 오차를 상한으로 제시하기 위해 근사 오차( f_V에서 진짜 베이즈 함수까지의 거리)와 추정 오차(유한 샘플에 의한 편차)를 사용한다.
• 수렴 조건을 검증하기 위해 점별 분석과 볼록 해석을 적용하며, 오차 감쇠 속도에 대한 가정 A와 B를 포함한다.
• 특히 희소 학습에 대해 복잡도를 제어하기 위해 엔트로피 기반 기법을 활용한다.
• 고차원 공간에서 후보 함수의 성장에 대응하기 위해 엔트로피 수 H_U(ε, G_p(s))에 대한 상한을 도출한다.

실험 결과

연구 질문

• RQ1 다중 클래스 마진 분류기의 일반화 성능을 결정짓는 근사 오차와 추정 오차는 어떻게 상호 보완적인 관계를 맺는가?
• RQ2 선형 분류에서 일반화 오차의 수렴 속도가 임의로 빠를 수 있는가? 이 속도는 무엇에 의해 결정되는가?
• RQ3 지배적 클래스가 존재할 경우 다중 클래스 마진 분류에서 일반화 오차에 어떤 영향을 미치는가?
• RQ4 특징 수 p가 표본 크기 n보다 크게 초과되지만 exp(n)을 넘지 않는 조건에서 마진 분류기의 수렴 속도는 어떻게 되는가?
• RQ5 마진 손실의 선택(볼록 또는 비볼록)이 이상적이고 실제 일반화 성능에 어떤 영향을 미치는가?

주요 결과

• 임의의 고정된 마진 손실에 대해 근사 오차와 추정 오차 사이의 트레이드오프가 일반화 성능를 지배하며, 다양한 손실 함수에 따라 최적의 행동 양상이 달라진다.
• 선형 분류에서는 입력/출력 쌍의 공동 분포에 따라 일반화 오차가 표준 O(n⁻¹) 속도를 초월하는 임의로 빠른 수렴 속도를 보일 수 있다.
• 선형 설정에서는 이상적인 일반화 성능( f_V 기반)이 더 중요하며, 비선형 설정에서는 근사 오차가 지배적이다.
• p ≪ exp(n) 조건 하에서 고차원 특성 선택에 대해 여러 마진 분류기의 수렴 속도를 확립하였으며, 희소 학습에서 정규화의 역할을 입증하였다.
• 엔트로피 기반 복잡도 제어를 통해 이론적 상한을 도출하였으며, 희소 함수 클래스에 대해 H_U(ε, G_p(s)) ≤ c(p log(1 + 1/(pε²)) + ε⁻² log(pε² + 1)) 를 만족함을 보였다.
• 레마들은 SVM 및 ψ-학습과 같은 다양한 손실 함수 하에서 위험 최소화자 f_V가 존재하고 잘 행동함을 검증하였으며, 지배적 클래스가 존재하는 경우에도 마찬가지로 성립한다.