[논문 리뷰] Scaling-up Empirical Risk Minimization: Optimization of Incomplete U-statistics

Stéphan Clémençon, Aurélien Bellet외 1명|arXiv (Cornell University)|2015. 01. 12.

Stochastic Gradient Optimization Techniques참고 문헌 30인용 수 17

한 줄 요약

이 논문은 기계학습 작업의 경험적 위험 최소화(Empirical Risk Minimization, ERM)에서 계산 비용이 높은 완전 U-통계량을 대체하기 위해 O(n)의 샘플드 튜플 기반 몬테카를로 추정치인 불완전 U-통계량을 제안한다. 이 방법은 계산을 크게 줄이면서도 ERM의 O(1/√n) 학습 속도를 유지함을 증명하며, 복잡도 제약 조건 하에서 균일 이탈 한계를 통한 근사 정확도에 대한 이론적 보장을 제공한다.

ABSTRACT

In a wide range of statistical learning problems such as ranking, clustering or metric learning among others, the risk is accurately estimated by $U$-statistics of degree $d\\geq 1$, i.e. functionals of the training data with low variance that take the form of averages over $k$-tuples. From a computational perspective, the calculation of such statistics is highly expensive even for a moderate sample size $n$, as it requires averaging $O(n^d)$ terms. This makes learning procedures relying on the optimization of such data functionals hardly feasible in practice. It is the major goal of this paper to show that, strikingly, such empirical risks can be replaced by drastically computationally simpler Monte-Carlo estimates based on $O(n)$ terms only, usually referred to as incomplete $U$-statistics, without damaging the $O_{\\mathbb{P}}(1/\\sqrt{n})$ learning rate of Empirical Risk Minimization (ERM) procedures. For this purpose, we establish uniform deviation results describing the error made when approximating a $U$-process by its incomplete version under appropriate complexity assumptions. Extensions to model selection, fast rate situations and various sampling techniques are also considered, as well as an application to stochastic gradient descent for ERM. Finally, numerical examples are displayed in order to provide strong empirical evidence that the approach we promote largely surpasses more naive subsampling techniques.

연구 동기 및 목표

• 도수 d에 대해 O(n^d)로 증가하는 완전 U-통계량 계산의 높은 계산 비용을 해결하기 위해.
• O(n)의 샘플드 튜플 기반 불완전 U-통계량이 완전 U-통계량과 동일한 O(1/√n) 학습 속도를 유지할 수 있음을 보여주기 위해.
• 복잡도 가정 하에 불완전 U-과정에 의한 U-과정 근사화의 균일 이탈 한계를 수립하기 위해.
• 일반적인 부분표본 추출 기법과 비교하여 제안된 샘플링 방법이 더 뛰어난 성능을 보임을 입증하기 위해.
• 불완전 U-통계량 프레임워크를 확장 가능한 학습을 위해 반복 최적화 방법(예: 경사하강법)에 통합하기 위해.

제안 방법

• 모든 O(n^d)개의 튜플 대신 O(n)개의 무작위로 선택된 d-튜플을 기반으로, 복원 추출을 통한 몬테카를로 샘플링을 사용하여 불완전 U-통계량을 구성한다.
• 불완전 U-통계량의 분산과 편향을 분석하기 위해 허프딩 분해를 적용하여 주요 성분과 열화 성분으로 분리한다.
• 완전 U-과정과 불완전 U-과정 간의 근사 오차에 대한 균일 이탈 부등식을 베르누이 타입 부등식을 사용해 유도한다.
• 가설 클래스의 복잡도(측도 엔트로피 또는 라데마처 복잡도를 통한)에 따라 진짜 U-통계량과 그 불완전 버전 간의 기대 이탈에 대한 경계를 수립한다.
• 각 단계에서 불완전 U-통계량을 사용하여 기울기를 추정하는 경사하강법(SGD)의 변형을 제안하며, 약한 가정 하에 수렴성을 보장한다.
• 샘플링 전략(베르누이 샘플링 및 복원 없이 무작위로 추출하는 방법)을 사용하고, 각 전략에 대해 근사 오차의 尾부 경계를 유도한다.

실험 결과

연구 질문

• RQ1 O(n) 항을 갖는 불완전 U-통계량이 완전 U-통계량을 대체할 때, ERM의 O(1/√n) 학습 속도를 유지할 수 있는가?
• RQ2 완전 U-과정의 불완전 버전에 의한 근사는 얼마나 정확한가? 그리고 균일 이탈에 대한 경계를 어떻게 설정할 수 있는가?
• RQ3 통계적 효율성과 계산 비용 측면에서 제안된 샘플링 전략이 단순 부분표본 추출 기법보다 뛰어나게 성능을 발휘하는가?
• RQ4 불완전 U-통계량 프레임워크는 경사하강법과 같은 반복 최적화 방법에 효과적으로 통합될 수 있는가?
• RQ5 불완전 U-통계량을 사용할 경우, 수렴 속도의 빠른 비율이 유지되는 조건은 무엇인가?

주요 결과

• 완전 U-통계량과 그 불완전 버전 간의 근사 오차는 높은 확률로 유한하며, 이 경계는 샘플된 튜플 수 B에 대해 O(1/√B)로 감소한다.
• 베르누이 샘플링의 경우, 균일 이탈 경계는 O(√(V log(1+|Λ|)/B))로 스케일되며, 여기서 V는 가설 클래스의 측도 엔트로피이다.
• 복원 없이 추출하는 샘플링의 경우, 더 타이트한 경계가 얻어지며, 이는 개선된 농도 특성 덕분에 O(√(V/B))로 스케일된다.
• 메트릭 학습 및 클러스터링 작업에서 이론적 경계와 실증 성능 모두에서 제안된 방법이 단순 부분표본 추출 기법보다 뛰어나다.
• SGD에 적용했을 때, 불완전 U-통계량 기반 기울기 추정기는 단지 O(n)개의 항만 사용함에도 불구하고 표준 ERM와 동일한 O(1/√n) 수렴 속도를 달성한다.
• 불완전 U-통계량의 분산은 n′개의 샘플된 튜플에 대해 渐近적으로 O(1/n′)이지만, 완전 U-통계량의 분산은 O(1/n′²)이므로, 특정 조건 하에서 더 나은 유한 표본 행동을 보인다.