[논문 리뷰] Fast rates with high probability in exp-concave statistical learning

Nishant A. Mehta|arXiv (Cornell University)|2016. 05. 04.

Machine Learning and Algorithms참고 문헌 25인용 수 11

한 줄 요약

이 논문은 exp-concave 통계적 학습에 대해 빠른 $O(d\log(1/\delta)/n)$ 초과 위험률을 높은 확률 $1-\delta$로 달성하는 새로운 신뢰도 향상 알고리즘을 제안한다. 이는 오랫동안 남아있던 열린 문제를 해결한다. exp-concavity에서 유도된 Bernstein 조건을 활용하고, 온라인에서 배치로의 변환에 대해 Freedman의 부등식을 적용함으로써, 이전의 기대값 기반 경계를 초월하여 이 설정에서 처음으로 고확률 $O(d/n)$ 속도를 제공한다.

ABSTRACT

We present an algorithm for the statistical learning setting with a bounded exp-concave loss in $d$ dimensions that obtains excess risk $O(d \log(1/δ)/n)$ with probability at least $1 - δ$. The core technique is to boost the confidence of recent in-expectation $O(d/n)$ excess risk bounds for empirical risk minimization (ERM), without sacrificing the rate, by leveraging a Bernstein condition which holds due to exp-concavity. We also show that with probability $1 - δ$ the standard ERM method obtains excess risk $O(d (\log(n) + \log(1/δ))/n)$. We further show that a regret bound for any online learner in this setting translates to a high probability excess risk bound for the corresponding online-to-batch conversion of the online learner. Lastly, we present two high probability bounds for the exp-concave model selection aggregation problem that are quantile-adaptive in a certain sense. The first bound is a purely exponential weights type algorithm, obtains a nearly optimal rate, and has no explicit dependence on the Lipschitz continuity of the loss. The second bound requires Lipschitz continuity but obtains the optimal rate.

연구 동기 및 목표

• exp-concave 통계적 학습에서 기대값 기반 빠른 속도와 고확률 빠른 속도 사이의 격차를 메우기.
• exp-concave 손실에 대해 고확률 초과 위험 경계가 $O(d\log(1/\delta)/n)$ 순서로 달성 가능한지 여부라는 오랜 열린 문제를 해결하기.
• 기대값 기반 $O(d/n)$ 속도를 유지하면서도 고확률 보장을 달성하는 신뢰도 향상 기법을 개발하기.
• 온라인에서 배치로의 변환 결과를 exp-concave 손실으로 확장하여, 정규화 경계가 고확률 초과 위험 경계를 유도함을 보여주기.
• 손실의 리프시츠 연속성에 대한 의존도가 개선된 양자수 적응형 고확률 경계를 제시하기.

제안 방법

• 핵심 방법은 기존의 기대값 기반 $O(d/n)$ 경계에 대한 신뢰도를 높이기 위해 이중 단계의 경험 위험 최소화(Empirical Risk Minimization, ERM) 접근법을 사용하며, 이로써 고확률 $O(d\log(1/\delta)/n)$ 초과 위험을 달성한다.
• exp-concavity와 중심 조건 사이의 연결을 수립하여, 초과 손실 랜덤 변수의 분산에 대해 Bernstein 조건이 유도됨을 보인다.
• Freedman의 부등식을 활용하여 Bernstein 조건에서 유도되는 분산 제어를 이용하고 고확률 경계를 유도한다.
• 두 번째 단계를 $K$차원 단체 위에서의 저차원 스토케스틱 exp-concave 최적화 문제로 재정의하는 새로운 감소 기법을 제안하며, 여기서 $K = O(\log(1/\delta))$이다.
• 임의의 온라인 exp-concave 학습기의 정규화 경계가 고확률 초과 위험 경계로 직접 변환됨을 보이며, 온라인에서 배치로의 변환을 적용한다.
• 모델 선택을 위해 순수하게 지수 가중치 기반 알고리즘을 제안하며, 손실의 리프시츠 연속성에 명시적인 의존 없이 거의 최적의 속도를 달성한다.

실험 결과

연구 질문

• RQ1 exp-concave 통계적 학습에 대해 고확률 초과 위험 경계가 $O(d\log(1/\delta)/n)$ 순서로 달성 가능한가?
• RQ2 표준 ERM 방법이 $O(d(\log n + \log(1/\delta))/n)$ 순서의 고확률 초과 위험을 달성하는가?
• RQ3 exp-concave 설정에서의 온라인 정규화 경계가 온라인에서 배치로의 변환 방법을 통해 고확률 초과 위험 경계로 변환 가능한가?
• RQ4 유한 클래스에 대한 모델 선택 집합 학습에서 고확률로 빠른 속도를 달성하고 손실의 리프시츠 연속성에 대한 의존도를 최소화할 수 있는가?
• RQ5 최적의 히스토그램 이웃에 높은 질량을 할당하는 사전이 존재할 경우에 더 나은 성능을 보이는 양자수 적응형 고확률 경계를 설계할 수 있는가?

주요 결과

• 제안된 신뢰도 향상 ERM 알고리즘은 확률 $1-\delta$ 이상로 $O(d\log(1/\delta)/n)$ 초과 위험 경계를 달성하며, exp-concave 학습에서 고확률 빠른 속도의 열린 문제를 해결한다.
• 표준 ERM는 확률 $1-\delta$ 이상으로 $O(d(\log n + \log(1/\delta))/n)$ 초과 위험을 달성하며, 이는 이전에 보고되지 않았지만 기존 문헌으로부터 유도 가능하다.
• 손실이 유계이고 exp-concave일 경우, 정규화 경계 $R_n$을 가진 임의의 온라인 exp-concave 학습기는 온라인에서 배치로의 변환을 통해 고확률 초과 위험 경계 $O(R_n/n)$를 유도한다.
• 새로운 모델 선택 집합 학습 알고리즘이 고확률로 $O((\log|\mathcal{F}| + \log n)/n)$ 속도를 달성하며, 손실 함수의 리프시츠 연속성에 명시적인 의존 없이 수행된다.
• 두 번째 모델 선택 방법은 최적의 속도를 달성하지만 리프시츠 연속성에 의존한다. 이는 속도 최적성과 부드러움에 대한 의존성 사이의 상충 관계를 보여준다.
• 논문은 exp-concavity가 Bernstein 조건을 유도함을 입증하며, 이는 분산 제어를 가능하게 하고 고확률 신뢰도 향상 기법이 Freedman의 부등식에 기반함을 뒷받침한다.