[논문 리뷰] Convex Risk Minimization and Conditional Probability Estimation

Matus Telgarsky, Miroslav Dudı́k외 1명|arXiv (Cornell University)|2015. 06. 15.

Machine Learning and Algorithms참고 문헌 17인용 수 5

한 줄 요약

이 논문은 최소 위험이 도달되지 않는 경우—부스팅 및 무한차원 설정에서 흔한 경우—에도 불구하고 볼록 위험 최소화가 유일한 조건부 확률 모델로 일관되게 수렴함을 입증한다. 새로운 노름 자유 일반화 경계와 볼록 쌍대성을 사용하여 인구 및 표본 위험 최소화 수열이 이 모델로 수렴함을 증명한다.

ABSTRACT

This paper proves, in very general settings, that convex risk minimization is a procedure to select a unique conditional probability model determined by the classification problem. Unlike most previous work, we give results that are general enough to include cases in which no minimum exists, as occurs typically, for instance, with standard boosting algorithms. Concretely, we first show that any sequence of predictors minimizing convex risk over the source distribution will converge to this unique model when the class of predictors is linear (but potentially of infinite dimension). Secondly, we show the same result holds for \emph{empirical} risk minimization whenever this class of predictors is finite dimensional, where the essential technical contribution is a norm-free generalization bound.

연구 동기 및 목표

• 진정한 분포 위에서 볼록 위험을 최소화할 때, 유한한 최소값이 존재하지 않더라도 그 결과로 수렴하는 것이 잘 정의된 조건부 확률 모델인지 여부라는 근본적인 질문을 해결하기 위해.
• 고차원 또는 무한차원 선형 예측자 클래스에서 표본 위험 최소화의 일반화 보장을 수립하기 위해.
• 분류에서 부스팅 및 기타 볼록 대체 방법의 극한 행동을 이해하기 위한 통합된 이론적 프레임워크를 제공하기 위해.
• 기존 연구의 한계를 극복하기 위해, 특히 AdaBoost와 같은 알고리즘에 관련된 유계성 또는 최소화자 존재성 가정을 제거하기 위해.
• 위험 최소화 예측자로부터 유도된 조건부 확률 추정치 수열이 거의 확실히 유일한 극한 모델로 수렴함을 보여주기 위해.

제안 방법

• 기저 함수 $ h \to [-1, +1] $의 가중합으로 정의된 선형 예측자 클래스를 사용하며, 가중치는 $ \bar{w} \to \text{L}^1(\text{H}) $에 속하여 무한차원 모델을 허용한다.
• 인구 위험 최소화 문제를 분석하기 위해 볼록 쌍대성을 적용하여, 극한 조건부 확률 모델 $ \bar{\nu} $의 존재성과 유일성을 보여준다.
• 예측자 가중치의 유계성 조건이 필요 없으므로, 무한차원 또는 유계가 아닌 설정에서도 분석이 가능한 노름 자유 일반화 경계를 도입한다.
• 위험 최소화 예측자에서 조건부 확률 추정치로의 변환으로서 $ \nu_w(x,y) = \phi((y(Hw)(x))) $를 정의하며, 여기서 $ \phi(r) = \ell'(r)/(\ell'(r) + \ell'(-r)) $이다.
• 표본 위험 최소화 하에서, 보렐-칸텔리 보조정리를 사용하여 조건부 확률 추정치가 유일한 극한 모델 $ \bar{\eta} $로 거의 확실히 수렴함을 증명한다.
• 영역을 $ \mathcal{D}_\star $ 와 $ \mathcal{D}_\star^c $ 로 분할하고, 농도 불등식을 적용하여 각 부분의 오차를 통제한다.

실험 결과

연구 질문

• RQ1 진정한 분포 위에서 볼록 위험을 최소화하는 예측자 수열이, 최소값이 존재하지 않더라도 잘 정의된 대상으로 수렴하는가?
• RQ2 유한한 표본 위에서의 표본 위험 최소화가 고차원 또는 무한차원 설정에서 조건부 확률 모델의 일관된 추정으로 이어지는가?
• RQ3 가중치 벡터가 발산할 경우, 위험 최소화 예측자로부터 유도된 조건부 확률 추정치의 극한 행동은 어떠한가?
• RQ4 예측자 가중치의 유계성이 보장되지 않는 경우(일반적으로 부스팅 알고리즘에서 위반됨), 어떻게 일반화 경계를 설정할 수 있는가?
• RQ5 극한 조건부 확률 모델은 유일한가? 그리고 손실 함수의 성질과 볼록 쌍대성을 통해 특성화될 수 있는가?

주요 결과

• 모든 볼록 손실 함수 중에서 클래스 $ \mathbb{L}^{2+}_{\text{b}} $ 에 속하는 경우, 예를 들어 로지스틱 손실과 지수 손실을 포함하여, 임의의 최소화 수열 예측자에 대해 수렴하는 고유한 조건부 확률 모델 $ \bar{\eta} $ 가 존재한다.
• 인구 위험이 유한한 최소화자가 존재하지 않는 경우—예를 들어 표준 부스팅에서처럼—에도 불구하고, 조건부 확률 추정치 수열 $ \eta_{w_n} $ 는 거의 확실히 $ \bar{\eta} $ 로 수렴한다.
• 이 논문은 예측자 가중치의 유계성이 필요 없는 노름 자유 일반화 경계를 수립하여, 전통적 통계학적 학습 이론의 핵심 한계를 극복한다.
• 조건부 확률 추정치의 수렴 속도는 $ \mathcal{O}\left( \sqrt{\hat{\mathcal{E}}_n(w)} + \sqrt{\frac{\ln(1/\delta)}{n}} \right) $ 이며, 여기서 $ \hat{\mathcal{E}}_n $ 은 표본 초과 위험이다.
• 극한 모델 $ \bar{\eta} $ 는 쌍대 문제를 통해 특성화되며, 원래 문제의 해가 도달되지 않더라도 $ \mu $-거의 모든 곳에서 유일하다.
• 가장 최소한의 가정 하에서도 분석이 성립한다: 손실 함수는 두 번 연속 미분 가능하며, 기저 가설 클래스는 임의일 수 있어, 회귀 및 부스팅 설정 모두에 적용 가능하다.