[논문 리뷰] Fast learning rates with heavy-tailed losses

Vu Dinh, Lam Si Tung Ho외 2명|arXiv (Cornell University)|2016. 09. 29.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 9

한 줄 요약

이 논문은 두 가지 핵심 조건을 도입하여 무거운 尾 꼬리 손실에 대한 경험적 위험 최소화의 빠른 수렴 속도를 확립한다: $L^r$-적분 가능성의 환경 함수와 다중 척도 베르누이 조건. 이러한 가정 하에 학습 속도가 $O(n^{-1})$에 임의로 가까워질 수 있음을 증명하였으며, 이는 중량이 무거운 데이터에 대한 $k$-means 군집화에 검증되었다.

ABSTRACT

We study fast learning rates when the losses are not necessarily bounded and may have a distribution with heavy tails. To enable such analyses, we introduce two new conditions: (i) the envelope function $\sup_{f \in \mathcal{F}}|\ell \circ f|$, where $\ell$ is the loss function and $\mathcal{F}$ is the hypothesis class, exists and is $L^r$-integrable, and (ii) $\ell$ satisfies the multi-scale Bernstein's condition on $\mathcal{F}$. Under these assumptions, we prove that learning rate faster than $O(n^{-1/2})$ can be obtained and, depending on $r$ and the multi-scale Bernstein's powers, can be arbitrarily close to $O(n^{-1})$. We then verify these assumptions and derive fast learning rates for the problem of vector quantization by $k$-means clustering with heavy-tailed distributions. The analyses enable us to obtain novel learning rates that extend and complement existing results in the literature from both theoretical and practical viewpoints.

연구 동기 및 목표

• 손실이 유계가 아니고 꼬리가 무거운 경우 빠른 학습 속도에 대한 이론적 이해 부족을 해결하기 위해.
• 기존의 빠른 수렴 이론을 유계 또는 서브-가우시안 손실을 초월하여 다항식 또는 더 무거운 꼬리가 있는 분포로 확장하기 위해.
• 무한대 손실 설정에서 $O(n^{-1})$에 가까운 빠른 수렴 속도를 달성할 수 있는 검증 가능한 조건을 제공하기 위해.
• 무거운 꼬리 분포를 가진 원천 분포를 가진 $k$-means 군집화에 제안된 프레임워크를 검증하기 위해.

제안 방법

• 무한대 손실의 꼬리 행동을 제어하기 위해 $r \geq 2$ 에 대해 $\sup_{f \in \mathcal{F}} |\ell \circ f|$ 의 $L^r$-적분 가능성을 도입하기 위해.
• 무한대 손실을 위한 표준 베르누이 조건의 일반화로서 다중 척도 베르누이 조건을 제안하여 빠른 수렴 분석을 가능하게 하기 위해.
• $L^r$-적분 가능성 하에서 경험 과정의 초과 위험을 유계하기 위해 Lederer와 van de Geer(2014)의 초과 위험에 대한 농도 부등식을 사용하기 위해.
• 위험 함수의 헤시안과 다중 척도 베르누이 조건 사이의 연결 고리를 확립하여 최적 해 근처에서의 빠른 수렴을 보장하기 위해.
• 모멘트와 정규성 가정 하에서 손실 함수와 가설 클래스에 대한 조건을 검증함으로써 $k$-means 군집화에 프레임워크를 적용하기 위해.
• 커버링 수와 엔트로피 조건을 사용하여 유한 표본 경계를 유도하고, 이 속도를 데이터 분포의 모멘트 수 $r$ 과 연결하기 위해.

실험 결과

연구 질문

• RQ1 손실 함수가 꼬리가 무거우며 무한대일 경우 빠른 학습 속도를 달성할 수 있는가?
• RQ2 가설 클래스와 손실 함수에 어떤 조건이 존재할 경우 중량이 무거운 손실이 있는 상황에서 빠른 속도를 달성할 수 있는가?
• RQ3 다중 척도 베르누이 조건은 무한대 손실 설정에서 빠른 속도를 위한 충분하고 검증 가능한 조건인가?
• RQ4 제안된 프레임워크는 중량이 무거운 데이터 하에서 기존 결과보다 $k$-means 군집화에 더 빠른 수렴 속도를 제공할 수 있는가?
• RQ5 데이터 분포의 모멘트 수 $r$ 이 학습 속도에 어떤 영향을 미치는가?

주요 결과

• 환경 함수가 $r \geq 2$ 에 대해 $L^r$-적분 가능할 경우, $O(n^{-1/2})$ 보다 빠른 빠른 학습 속도가 달성 가능하다.
• 다중 척도 베르누이 조건 하에서, $r \to \infty$ 일 때 학습 속도는 $O(n^{-1})$ 에 임의로 가까워질 수 있다.
• $k$-means 군집화의 경우, 데이터가 순서 $r \geq 4k(d+1)$ 까지 유한 모멘트를 가지면 초과 위험은 $O(n^{-\beta})$ 속도로 수렴하며, 이 때 $\beta < \frac{r-1}{r}(1 - 2\sqrt{k(d+1)/r})$ 이다.
• 모든 $r \to \infty$ 일 때 수렴 속도는 $O(n^{-1})$ 에 수렴하여 중량이 무거운 분포 하에서 거의 최적의 성능을 보여준다.
• Antos 등(2005)과 Levrard(2013)의 이전 작업을 유한 지지역과 초과하여 확장하였으며, 유사한 가정 하에서 Telgarsky와 Dasgupta(2013)의 결과를 향상시켰다.
• 다중 척도 베르누이 조건은 무한대 손실 설정에서 자연스럽고 검증 가능한 가정임이 입증되었으며, 미세 척도와 거시 척도에서의 행동을 구분한다.