[논문 리뷰] Multiclass Learning Approaches: A Theoretical Comparison with Implications

Amit Daniely, Sivan Sabato외 1명|arXiv (Cornell University)|2012. 05. 29.

Machine Learning and Algorithms참고 문헌 7인용 수 15

한 줄 요약

이 논문은 VC 이론을 사용하여 다중 분류 학습 방법 다섯 가지—One-vs-All, All-Pairs, 트리 기반 분류기, 오류 수정 출력 부호(ECOC), 다중 분류 SVM—의 근사 오차와 추정 오차를 이론적으로 비교한다. 다중 분류 SVM는 일반적으로 낮은 근사 오차를 기록하며, 표본 크기가 차원 수와 클래스 수에 비해 클 경우에 특히 유리하다. 특히 다른 방법들이 실현 가능하지 않은 경우에 유리하다.

ABSTRACT

We theoretically analyze and compare the following five popular multiclass classification methods: One vs. All, All Pairs, Tree-based classifiers, Error Correcting Output Codes (ECOC) with randomly generated code matrices, and Multiclass SVM. In the first four methods, the classification is based on a reduction to binary classification. We consider the case where the binary classifier comes from a class of VC dimension $d$, and in particular from the class of halfspaces over $\ eals^d$. We analyze both the estimation error and the approximation error of these methods. Our analysis reveals interesting conclusions of practical relevance, regarding the success of the different approaches under various conditions. Our proof technique employs tools from VC theory to analyze the \\emph{approximation error} of hypothesis classes. This is in sharp contrast to most, if not all, previous uses of VC theory, which only deal with estimation error.

연구 동기 및 목표

• One-vs-All, All-Pairs, 트리 기반 분류기, 무작위 코드를 사용한 ECOC, 다중 분류 SVM의 다섯 가지 다중 분류 학습 접근법의 근사 오차와 추정 오차를 이론적으로 비교하는 것.
• 기본 이진 분류기의 선택(특히 VC 차원 d인 반평면)이 다중 분류 방법의 성능에 미치는 영향을 분석하는 것.
• 근사 오차와 추정 오차 구성요소로 분해한 오차 기반으로 각 방법이 어떤 조건에서 유리한지 규명하는 것.
• VC 이론이 추정 오차 외에도 근사 오차 분석에 응용될 수 있음을 입증하는 것—기존에 추정 오차 분석에만 사용된 이론을 새로운 방식으로 응용한 것이다.
• 데이터셋 크기, 차원 수, 클래스 수를 바탕으로 방법 선택에 대한 실용적 함의를 제공하는 것.

제안 방법

• 다중 분류 감소 방법에 의해 유도된 가설 클래스의 근사 오차와 추정 오차를 VC 이론을 사용해 분석한다.
• 유한한 레이블 샘플을 구성하고 레이블 매핑에 대한 균일 수렴 원리를 적용하여 근사 오차를 경계하는 데 새로운 기법을 적용한다.
• 특히 트리 및 ECOC 기반 방법의 감소된 가설 클래스의 복잡도를 낮추기 위해 Natarajan 차원의 일반화를 사용한다.
• 포함 관계와 복잡도 측정치(예: 유도된 다중 분류 클래스의 VC 차원)를 통해 각 방법의 가설 클래스를 비교한다.
• 다양한 감소 방법에 대해 유도된 다중 분류 가설 클래스의 성장 차원과 Natarajan 차원에 대한 상한 및 하한을 도출한다.
• 반평면 클래스의 VC 차원이 d+1임을 기저 사례로 삼고, VC 차원 d인 임의의 클래스로 결과를 확장한다.

실험 결과

연구 질문

• RQ1 동일한 이진 분류기 가정 하에 One-vs-All, All-Pairs, 트리 기반, ECOC, 다중 분류 SVM의 근사 오차와 추정 오차는 어떻게 비교될 수 있는가?
• RQ2 근사 오차 측면에서 다중 분류 SVM이 다른 감소 기반 방법보다 유리한 조건은 무엇인가?
• RQ3 VC 이론은 추정 오차 외에도 다중 분류 학습에서 근사 오차 분석에 의미 있게 적용될 수 있는가?
• RQ4 다양한 감소 프레임워크에서 기저 이진 가설 클래스의 복잡도와 유도된 다중 분류 가설 클래스의 복잡도 간의 관계는 어떠한가?
• RQ5 클래스 수 k와 입력 차원 d는 오차 경계 측면에서 이러한 방법들의 상대적 성능에 어떻게 영향을 미치는가?

주요 결과

• 학습 샘플 크기가 Ω~(dk)일 경우, 다중 분류 SVM은 근사 오차가 낮아 One-vs-All 및 트리 기반 분류기보다 유리하다.
• 실현 가능 케이스(근사 오차가 0)에서는 다중 분류 SVM이 One-vs-All 및 트리 기반 방법이 실패할 수 있는 엄격한 포함 관계로 인해 완벽한 분류를 달성할 수 있다.
• k > d일 경우, 무작위 트리 또는 무작위 코드를 사용한 ECOC를 사용하는 것은 근사 오차가 높아지므로 강력히 권장되지 않는다.
• 샘플 크기가 Ω~(dk²)를 초과할 경우, All-Pairs 방법이 추정 오차 성질이 유리하여 유리하다.
• 원 위에 9개의 클래스가 배열된 2차원 설정에서는 다중 분류 SVM과 One-vs-All이 근사 오차가 0이 되지만, 트리 기반 및 무작위 코드를 사용한 ECOC는 일반적으로 그렇지 않다.
• 낮은 차원 설정(예: d=2)에서도 클래스들이 필요한 쌍별 구성에서 선형으로 분리 가능하지 않을 경우, One-vs-All은 근사 오차가 0이 되지 못할 수 있으나, 다중 분류 SVM은 그렇지 않다.