[논문 리뷰] Multiclass learnability and the ERM principle

Amit Daniely, Sivan Sabato외 2명|arXiv (Cornell University)|2013. 08. 13.

Machine Learning and Algorithms참고 문헌 36인용 수 42

한 줄 요약

이 논문은 다중분류 학습에서 모든 경험적 리스크 최소화(ERM) 알고리즘의 표본 복잡도가 동일하지 않음을 보여준다. 일부 ERM 학습기는 특정 가설 클래스를 학습할 수 있지만, 다른 ERM 학습기는 실패할 수 있으며, 이는 가설 클래스가 학습 가능할지라도 마찬가지다. 주요 기여는 대칭적인 다중분류 가설 클래스에 대한 표본 복잡도를 나타내는 Natarajan 차원을 사용한 특성화로, 이는 날카운 경계를 제공하고 최적의 ERM 학습기를 설계하는 원칙을 제시한다.

ABSTRACT

We study the sample complexity of multiclass prediction in several learning settings. For the PAC setting our analysis reveals a surprising phenomenon: In sharp contrast to binary classification, we show that there exist multiclass hypothesis classes for which some Empirical Risk Minimizers (ERM learners) have lower sample complexity than others. Furthermore, there are classes that are learnable by some ERM learners, while other ERM learners will fail to learn them. We propose a principle for designing good ERM learners, and use this principle to prove tight bounds on the sample complexity of learning {\em symmetric} multiclass hypothesis classes---classes that are invariant under permutations of label names. We further provide a characterization of mistake and regret bounds for multiclass learning in the online setting and the bandit setting, using new generalizations of Littlestone's dimension.

연구 동기 및 목표

• PAC 설정에서 다중분류 학습의 표본 복잡도를 조사하고, 다양한 ERM 학습기의 역할에 초점을 맞춘다.
• 오랜 기간 동안 지속된 가정인 균일 수렴이 학습 가능성과 동치이며, 모든 ERM 학습기가 표본 복잡도에서 동일하다는 것을 도전한다.
• 라벨 순열에 대해 불변인 대칭적인 다중분류 가설 클래스에 대한 표본 복잡도를 날카롭게 특성화한다.
• 온라인 및 밴딧 학습 설정으로 분석을 확장하여 다중분류 예측에 대해 Littlestone의 차원을 일반화한다.
• Natarajan 및 그래프 차원과 같은 조합적 측정 기준을 바탕으로 최적의 ERM 학습기를 선택하는 체계적인 방법을 제안한다.

제안 방법

• PAC, 온라인, 밴딧 설정에서 다중분류 학습을 위한 공식적 프레임워크를 도입하며, 전체 정보 피드백과 밴딧 피드백 간의 차이를 명확히 한다.
• 가설 클래스의 조합적 성질에 기반하여 표본 복잡도를 최소화하는 ERM 학습기 설계를 위한 새로운 원칙을 제안한다.
• 대칭적인 가설 클래스에 대한 표본 복잡도를 특성화하기 위해 Natarajan 차원을 핵심 측정 기준으로 사용하고, 날카운 상한 및 하한을 증명한다.
• 온라인 및 밴딧 학습에서 실수 및 손실 경계를 특성화하기 위해 Littlestone의 차원을 다중분류 설정으로 일반화한다.
• 그래프 차원(상한)과 Natarajan 차원(하한) 사이의 격차를 분석하여, k개의 레이블에 대해 최대 Θ(ln k)의 크기로 증가할 수 있음을 보여준다.
• 다중분류 학습을 이진 분류로 환원하는 접근 방식을 활용하여, 다양한 학습 모델 간의 일반화 경계를 유도한다.

실험 결과

연구 질문

• RQ1 동일한 다중분류 가설 클래스에 대해 서로 다른 ERM 학습기 간에 상당한 표본 복잡도의 차이가 존재하는가?
• RQ2 균일 수렴이 다중분류 학습에서 학습 가능성과 동치인가? 이는 이진 분류에서는 성립하지만 다중분류에서는 성립하는가?
• RQ3 어떤 조합적 측정 기준이 대칭적인 다중분류 가설 클래스의 표본 복잡도를 날카롭게 특성화하는가?
• RQ4 Littlestone의 차원은 다중분류 설정에서 온라인 및 밴딧 학습을 특성화하기 위해 어떻게 일반화될 수 있는가?
• RQ5 최적의 표본 복잡도를 갖는 ERM 학습기를 선택하는 체계적인 방법을 개발할 수 있는가?

주요 결과

• 일부 ERM 학습기가 다른 ERM 학습기보다 낮은 표본 복잡도를 가지며, 일부 ERM 학습기는 다른 ERM 학습기로는 학습 가능한 가설 클래스를 학습하지 못하는 다중분류 가설 클래스가 존재한다.
• 대칭적인 다중분류 가설 클래스의 경우, 표본 복잡도는 Natarajan 차원에 의해 날카롭게 특성화되며, 상수 인자까지 일치하는 경계를 제공한다.
• 그래프 차원(상한)과 Natarajan 차원(하한) 사이의 비율은 k개의 클래스에 대해 최대 Θ(ln k)까지 클 수 있다.
• 온라인 및 밴딧 설정에서 논문은 Littlestone의 차원을 다중분류 학습으로 일반화하여 실수 및 손실 경계의 새로운 특성화를 제공한다.
• 논문은 실현 가능한 경우에 대한 표본 복잡도에 대한 새로운 상한을 제시하며, 이는 이전 결과를 향상시키고 로그 인자까지 날카로운 경계를 보여준다.
• 저자들은 모든 다중분류 가설 클래스에 대해 일반적인 표본 복잡도 경계 O((d_N ln(1/ε) + ln(1/δ))/ε)가 성립한다고 추측하지만, 이는 비어 있지 않은 ERM 학습기를 사용할 경우에만 성립한다.