[논문 리뷰] Uniform Convergence of Gradients for Non-Convex Learning and Optimization

Dylan J. Foster, Ayush Sekhari외 1명|arXiv (Cornell University)|2018. 10. 25.

Stochastic Gradient Optimization Techniques인용 수 7

한 줄 요약

이 논문은 비볼록 학습에서 기울기의 균일 수렴을 확보하기 위한 치수에 의존하지 않는 도구로 벡터 값 라데마처 복잡도를 도입한다. 이는 기울기 기반 최적화의 최적 샘플 복잡도 상한을 가능하게 한다. 연구는 약간의 분포 가정 하에 비부드러운 모델, 예를 들어 ReLU 네트워크와 같은 경우에도 치수에 의존하지 않는 수렴 속도를 달성할 수 있음을 보여준다.

ABSTRACT

We investigate 1) the rate at which refined properties of the empirical risk---in particular, gradients---converge to their population counterparts in standard non-convex learning tasks, and 2) the consequences of this convergence for optimization. Our analysis follows the tradition of norm-based capacity control. We propose vector-valued Rademacher complexities as a simple, composable, and user-friendly tool to derive dimension-free uniform convergence bounds for gradients in non-convex learning problems. As an application of our techniques, we give a new analysis of batch gradient descent methods for non-convex generalized linear models and non-convex robust regression, showing how to use any algorithm that finds approximate stationary points to obtain optimal sample complexity, even when dimension is high or possibly infinite and multiple passes over the dataset are allowed. Moving to non-smooth models we show----in contrast to the smooth case---that even for a single ReLU it is not possible to obtain dimension-independent convergence rates for gradients in the worst case. On the positive side, it is still possible to obtain dimension-independent rates under a new type of distributional assumption.

연구 동기 및 목표

• 입력 차원에 관계없이 비볼록 학습 문제에서 기울기의 균일 수렴을 분석할 수 있는 일반적인 프레임워크를 개발하는 것.
• 기울기 균일 수렴이 비볼록 일반화 선형 모델 및 강건 회귀에서 최적의 샘플 복잡도를 갖는 최적화 알고리즘을 보장함을 입증하는 것.
• ReLU 네트워크와 같은 비부드러운 설정에서 치수에 의존하지 않는 수렴의 한계를 조사하고, 이가 여전히 가능한 조건을 특정하는 것.
• 기울기 기반 방법이 비볼록 기계 학습에서 전역 최소화가 어렵더라도 성공할 수 있는 이론적 기반을 제공하는 것.

제안 방법

• 비볼록 설정에서 기울기 수렴을 분석하기 위한 노름 기반 용량 제어 도구로 벡터 값 라데마처 복잡도를 제안한다.
• 복합 함수의 기울기 복잡도를 하위 함수의 구성 요소로 분해하기 위해 라데마처 복잡도의 '체인 규칙'을 도입한다.
• 비볼록 모델에서 이阶 기울기 항의 복잡도를 제한하기 위해 블록 별 수축 원리를 적용한다.
• 초과 위험과 기울기 크기 사이의 관계를 연결하는 기울기 지배 조건을 수립하여 최적화 보장을 가능하게 한다.
• ReLU 네트워크와 같은 비부드러운 모델에서 치수에 의존하지 않는 수렴을 복구하기 위해 새로운 마진 유형의 분포 가정을 사용한다.
• 이 프레임워크를 사용해 배치 기울기 하강법 및 기타 표준 알고리즘을 분석하고, 유도된 상한 하에 최적의 샘플 복잡도를 달성할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 비볼록 학습 문제에서 기울기의 균일 수렴을 치수에 의존하지 않는 방식으로 확보할 수 있는가?
• RQ2 기울기 기반 최적화가 고차원 또는 무한차원 설정에서 최적의 샘플 복잡도를 달성할 수 있는 조건은 무엇인가?
• RQ3 최악의 가정 하에 ReLU 네트워크와 같은 비부드러운 모델에서 치수에 의존하지 않는 기울기 수렴이 가능한가?
• RQ4 새로운 유형의 분포 가정이 비부드러운 비볼록 모델에서 치수에 의존하지 않는 수렴을 가능하게 할 수 있는가?
• RQ5 기울기 균일 수렴은 비볼록 설정에서 최적화 알고리즘의 초과 위험을 어떻게 제한하는 데 활용할 수 있는가?

주요 결과

• 벡터 값 라데마처 복잡도는 비볼록 학습에서 기울기의 치수에 의존하지 않는 균일 수렴 상한을 유도하는 구성 가능하고 사용자 友好的한 방법을 제공한다.
• 부드러운 비볼록 일반화 선형 모델 및 강건 회귀에서, 어떤 알고리즘이라도 근사 정류점에 도달하면, 데이터를 여러 번 순환하더라도 최적의 샘플 복잡도를 달성한다.
• 최악의 경우, ReLU 네트워크와 같은 비부드러운 모델은 치수에 의존하지 않는 기울기 수렴 속도를 갖지 못한다.
• 그러나 새로운 마진 유형의 분포 가정 하에, 비부드러운 설정에서도 여전히 치수에 의존하지 않는 수렴 속도를 달성할 수 있다.
• 이 프레임워크는 기울기 균일 수렴과 초과 위험 사이에 직접적인 연결을 가능하게 하여, 기울기 기반 방법이 비볼록 문제에서 최적의 일반화 성능을 달성할 수 있음을 보여준다.
• 체인 규칙과 블록 별 수축을 사용하여 이론적 상한을 도출하였으며, 명시적인 샘플 복잡도 속도는 데이터 노름과 함수의 부드러움에 따라 결정된다.