[논문 리뷰] A Minimax Approach to Supervised Learning

Farzan Farnia, David Tse|arXiv (Cornell University)|2016. 06. 07.

Machine Learning and Algorithms참고 문헌 32인용 수 38

한 줄 요약

이 논문은 경험적 데이터 분포를 중심으로 하는 분포 집합 위에서 worst-case 기대 손실을 최소화하는 minimax 접근법을 제안하며, 최대 엔트로피 원칙을 일반화한다. 0-1 손실의 경우, 새로운 선형 분류기인 최대 엔트로피 머신(MEM)을 유도하며, 여러 UCI 데이터셋과 고차원 합성 데이터에서 SVM 및 기타 분류기보다 뛰어난 성능을 보인다.

ABSTRACT

Given a task of predicting $Y$ from $X$, a loss function $L$, and a set of probability distributions $Γ$ on $(X,Y)$, what is the optimal decision rule minimizing the worst-case expected loss over $Γ$? In this paper, we address this question by introducing a generalization of the principle of maximum entropy. Applying this principle to sets of distributions with marginal on $X$ constrained to be the empirical marginal from the data, we develop a general minimax approach for supervised learning problems. While for some loss functions such as squared-error and log loss, the minimax approach rederives well-knwon regression models, for the 0-1 loss it results in a new linear classifier which we call the maximum entropy machine. The maximum entropy machine minimizes the worst-case 0-1 loss over the structured set of distribution, and by our numerical experiments can outperform other well-known linear classifiers such as SVM. We also prove a bound on the generalization worst-case error in the minimax approach.

연구 동기 및 목표

• 표본 수가 부족하여 진정한 데이터 분포를 추정할 수 없는 고차원 설정에서의 지도 학습 문제를 해결하기 위해.
• 경험 분포를 중심으로 하는 분포 집합 위에서 worst-case 기대 손실을 최소화하는 강건한 학습 프레임워크를 개발하기 위해.
• 조건부 예측을 위한 임의의 손실 함수(예: 0-1 손실 포함)로 최대 엔트로피 원칙을 일반화하기 위해.
• 0-1 손실 하에서 이분류 문제를 위한 새로운 선형 분류기인 최대 엔트로피 머신(MEM)을 도출하기 위해.
• 이 minimax 프레임워크에서 worst-case 오차에 대한 일반화 경계를 수립하기 위해.

제안 방법

• 경험 분포 \hat{P}를 중심으로 하는 분포 집합 \Gamma 위에서 worst-case 기대 손실을 최소화하는 minimax 학습 문제를 수립한다.
• 이중성과 minimax 정리의 응용을 통해, 일반화된 엔트로피와 모멘트 제약 조건을 포함하는 해석 가능한 최적화 문제로 minimax 문제를 변환한다.
• 0-1 손실의 경우, 구조적 분포 집합 하에서 worst-case 0-1 손실을 최소화하는 최적의 결정 규칙으로 최대 엔트로피 머신(MEM)을 도출한다.
• 이를 위해 이중 변수에 대해 \ell_2 정규화를 적용한 경사하강법을 사용하며, 특징 선택에서의 희소성을 유도하기 위해 \ell_1 정규화도 사용한다.
• 이중성을 활용하여 minimax 문제를 상호정보량 최대화 문제와 연결함으로써, \ell_1-정규화 최적화를 통한 희소 특징 선택이 가능해진다.
• 교차 검증을 통해 정규화 파라미터 \lambda를 튜닝하고, 훈련-테스트 분할을 반복한 몬테카를로 평균을 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 진정한 분포가 알려지지 않은 상황에서, 지도 학습에서 worst-case 기대 손실을 최소화하는 minimax 프레임워크를 개발할 수 있는가?
• RQ2 로그 손실을 초월하여 임의의 손실 함수로 최대 엔트로피 원칙을 일반화할 수 있는가?
• RQ3 worst-case 분포 불확실성 하에서 0-1 손실에 대한 최적의 분류기는 무엇인가?
• RQ4 minimax 접근법은 고차원 설정에서 강건하고 희소적이며 높은 성능을 보이는 선형 분류기를 도출할 수 있는가?
• RQ5 이 프레임워크에서 worst-case minimax 위험에 대한 일반화 오차 경계를 어떻게 확립할 수 있는가?

주요 결과

• 최대 엔트로피 머신(MEM)은 여섯 개의 UCI 이진 분류 데이터셋 중 네 개에서 SVM보다 뛰어난 성능을 보였으며, 그 중 세 개에서 가장 낮은 오차율을 기록했다.
• 고차원 합성 데이터셋(n=200, d=10,000)에서 MEM는 20.0%의 오차율을 기록했으며, SVM(20.6%) 및 DRC(20.4%)보다 略적으로 우수했다.
• minimax 프레임워크 내에서 \ell_1-정규화된 로지스틱 회귀 공식화는 worst-case 상호정보량을 최대화하며, 히وري스틱 특징 선택 방법에 대한 원리적인 대안을 제공한다.
• minimax 접근법은 적절한 손실 함수 하에서 기존의 모델들인 최소제곱 회귀와 라소를 복원하며, 그 일반성에 대한 타당성을 입증한다.
• 정리 3에서 확립한 일반화 경계는 분포 불확실성 하에서도 학습된 규칙의 worst-case 오차가 제어됨을 보장한다.
• 이중 공식화에서의 \ell_1 정규화는 특징 선택 행렬의 희소성을 유도하며, 고차원 제약 조건 하에서 효과적인 변수 선택이 가능하다.