[논문 리뷰] Towards Optimal Problem Dependent Generalization Error Bounds in Statistical Learning Theory

Yunbei Xu, Assaf Zeevi|arXiv (Cornell University)|2020. 11. 12.

Sparse and Compressive Sensing Techniques참고 문헌 80인용 수 4

한 줄 요약

이 논문은 통계학적 학습에서 날카롭고 문제에 따라 달라지는 일반화 오차 경계를 유도하기 위해 '균일 국소 수렴(uniform localized convergence)'이라고 불리는 새로운 프레임워크를 소개한다. 이 프레임워크는 느린 속도 및 빠른 속도 영역 모두에서 최적의 분산-의존성 및 손실-의존성 속도를 달성하여, 순간 페널티 추정량과 그라디언트 디센트와 같은 반복 알고리즘들이 비볼록 학습, 확률적 최적화, 결측 데이터 문제 전반에서 유한 표본 성능을 거의 최적화할 수 있도록 한다.

ABSTRACT

We study problem-dependent rates, i.e., generalization errors that scale near-optimally with the variance, the effective loss, or the gradient norms evaluated at the "best hypothesis." We introduce a principled framework dubbed "uniform localized convergence," and characterize sharp problem-dependent rates for central statistical learning problems. From a methodological viewpoint, our framework resolves several fundamental limitations of existing uniform convergence and localization analysis approaches. It also provides improvements and some level of unification in the study of localized complexities, one-sided uniform inequalities, and sample-based iterative algorithms. In the so-called "slow rate" regime, we provides the first (moment-penalized) estimator that achieves the optimal variance-dependent rate for general "rich" classes; we also establish improved loss-dependent rate for standard empirical risk minimization. In the "fast rate" regime, we establish finite-sample problem-dependent bounds that are comparable to precise asymptotics. In addition, we show that iterative algorithms like gradient descent and first-order Expectation-Maximization can achieve optimal generalization error in several representative problems across the areas of non-convex learning, stochastic optimization, and learning with missing data.

연구 동기 및 목표

• 통계학적 학습 이론에서 '풍부한(hypothesis classes)'이 존재할 경우, 최적의 문제에 따라 달라지는 일반화 오차 경계가 부족한 문제를 해결하기 위해.
• 기존의 균일 수렴 및 국소화 방법(예: 국소 라데마처 복잡도)의 한계를 극복하기 위해, 이러한 방법들이 하한 수렴에 대한 표본 크기 의존성이 최적의 것이 아님을 해결하기 위해.
• 기존의 국소화된 복잡도, 한쪽 방향의 균일 부등식, 반복 알고리즘에서의 정규화를 통합하고 개선하기 위해.
• 점 渐진적 정밀도를 따르는 비모수적 빠른 속도 영역과 느린 속도 영역 모두에서 유한 표본, 문제에 따라 달라지는 경계를 수립하기 위해.
• 반복 알고리즘인 그라디언트 디센트와 1차 수준의 기대값 최대화(EM) 알고리즘이 비볼록 및 결측 데이터 설정에서 최적의 문제에 따라 달라지는 일반화 오차를 달성할 수 있음을 보여주기 위해.

제안 방법

• 최적의 가설 주변에서 수렴을 국소화하기 위해 적응형 절단 수준과 '링(링들)'에 대한 농도를 사용하는 새로운 프레임워크인 '균일 국소 수렴'을 제안한다.
• 문제 특성에 따라 달라지는 매개변수(예: 분산, 기울기 노름 등)에 의존하는 균일 부등식을 도출하기 위해 융통성 있는 대체 함수와 농도가 있는 함수 접근법을 사용한다.
• 일반적인 풍부한 클래스에서 느린 속도 영역에서 최적의 분산-의존성 속도를 달성하는 첫 번째 순간 페널티 추정량을 도입한다.
• 최적의 가설 근처에서의 경험 과정 행동을 분석하기 위해 한쪽 방향의 균일 농도 부등식을 적용하여 악조건의 균일 경계를 피한다.
• 기하학적 제약 조건이 없는 가설 클래스를 위해 국소화된 복잡도 측정과 링 기반 농도를 사용한다.
• 비모수적 빠른 속도 영역에서 정확한 渐진적 행동과 동일한 정밀도를 갖는 유한 표본 경계를 수립한다. 이는 곡률이 약한 조건(예: Huber 손실)에서도 성립한다.

실험 결과

연구 질문

• RQ1 표본 크기에서 최적이고, 분산 및 기울기 노름과 같은 문제 특성 매개변수에서 날카로운 일반화 오차 경계를 유도할 수 있는가?
• RQ2 기존의 국소화 기법(예: 국소 라데마처 복잡도, 기울기 수렴의 균일 수렴 등)을 통합하고 개선할 수 있는가?
• RQ3 그라디언트 디센트 및 1차 수준의 기대값 최대화(EM)와 같은 반복 알고리즘이 비볼록 및 결측 데이터 문제에서 최적의 문제에 따라 달라지는 일반화 오차를 달성할 수 있는가?
• RQ4 적응형 절단과 링 기반 농도가 더 날카롭고 국소화된 수렴 경계를 달성하는 데 어떤 역할을 하는가?
• RQ5 제안된 프레임워크는 기존 방법이 실패하는 풍부한 가설 클래스에 대해 최적의 속도를 도출할 수 있는가?

주요 결과

• 논문은 느린 속도 영역에서 일반적인 '풍부한' 클래스에 대해 최적의 분산-의존성 일반화 오차 속도를 달성하는 첫 번째 순간 페널티 추정량을 제시한다.
• 문제 특성에 따라 달라지는 손실 구조를 활용하여 표준 경험 리스크 최소화의 개선된 손실-의존성 속도를 확립한다.
• 빠른 속도 영역에서, 조건이 약한 곡률 조건(예: Huber 손실)에서도 정확한 渐진적 결과와 정밀도가 유사한 유한 표본 경계를 제공한다.
• 그라디언트 디센트 및 1차 기대값 최대화(EM)와 같은 반복 알고리즘이 비볼록 학습 및 결측 데이터 문제에서 최적의 문제에 따라 달라지는 일반화 오차를 달성함을 입증한다.
• 프레임워크는 국소화된 복잡도, 한쪽 방향의 균일 부등식, 벡터 기반 수렴 결과를 하나의 원칙적인 접근법으로 통합한다.
• 기하학적 가정을 피하기 위해 적응형 절단과 링 기반 농도를 사용함으로써, 이전의 국소화 방법보다 더 넓은 적용 범위를 확보한다.