[논문 리뷰] Online stochastic gradient descent on non-convex losses from high-dimensional inference

Gérard Ben Arous, Reza Gheissari외 1명|arXiv (Cornell University)|2020. 03. 23.

Stochastic Gradient Optimization Techniques인용 수 16

한 줄 요약

이 논문은 고차원 추론에서 비볼록 손실에 대해 온라인 확률적 경사 하강법(online SGD)의 거의 정확한 표본 복잡도 임계값을 확립하며, 인구 손실의 핵심 내재적 성질로 정보 지수(exponent)를 도입한다. 대부분의 데이터가 초기 탐색 단계에서 진짜 값과 비트레이스러운 상관관계를 확립하기 위해 사용되며, 이후 내림내림 단계는 빠르고 대수법칙 유사한 성질을 띠며, 차원에 대해 다항식으로 증가하는 임계값을 가지며 정보 지수에 명시적으로 의존한다.

ABSTRACT

Stochastic gradient descent (SGD) is a popular algorithm for optimization problems arising in high-dimensional inference tasks. Here one produces an estimator of an unknown parameter from independent samples of data by iteratively optimizing a loss function. This loss function is random and often non-convex. We study the performance of the simplest version of SGD, namely online SGD, from a random start in the setting where the parameter space is high-dimensional. We develop nearly sharp thresholds for the number of samples needed for consistent estimation as one varies the dimension. Our thresholds depend only on an intrinsic property of the population loss which we call the information exponent. In particular, our results do not assume uniform control on the loss itself, such as convexity or uniform derivative bounds. The thresholds we obtain are polynomial in the dimension and the precise exponent depends explicitly on the information exponent. As a consequence of our results, we find that except for the simplest tasks, almost all of the data is used simply in the initial search phase to obtain non-trivial correlation with the ground truth. Upon attaining non-trivial correlation, the descent is rapid and exhibits law of large numbers type behavior. We illustrate our approach by applying it to a wide set of inference tasks such as phase retrieval, and parameter estimation for generalized linear models, online PCA, and spiked tensor models, as well as to supervised learning for single-layer networks with general activation functions.

연구 동기 및 목표

• 기존의 볼록성 또는 균일한 도함수 경계가 성립하지 않는 고차원 비볼록 추론 문제에서 온라인 SGD의 표본 복잡도를 이해하기 위해.
• 초기 탐색 단계와 빠른 내림내림 단계 사이의 단계 전이를 고차원 SGD에서 무작위 초기화 상태에서 특성화하기 위해.
• 고차원 설정에서 일관된 추정을 위해 필요한 표본 수를 결정하는 데 지배적인 내재적 성질인 '정보 지수'를 특정하기 위해.
• 이전 접근 방식과 달리 손실 또는 기울기의 균일한 제어에 의존하지 않는, 차원에 대해 다항식인 표본 복잡도의 경계를 제공하기 위해.
• 다양한 추론 작업, 예를 들어 위상 복원, 일반선형 모델, 단일층 신경망 등에 걸쳐 프레임워크의 일반성(유니버설리티)을 입증하기 위해.

제안 방법

• 손실 함수의 인구 수준 성질로서 표본 복잡도를 지배하는 정보 지수를 도입하며, 이는 손실의 기울기의 모멘트 조건을 통해 정의된다.
• 볼록성 또는 균일한 부드러움을 가정하지 않고, 무작위 초기화 상태에서 온라인 SGD를 새로운 분해 방식으로 탐색 단계와 내림내림 단계로 분석한다.
• 추정 오차의 시간에 따른 성장률을 제어하기 위해 이산형 Bihari–LaSalle 부등식을 적용하여 비점근적 경계를 도출한다.
• 측정 집합의 농도와 무작위 텐서(예: 스피iked 텐서 모델)의 모멘트 경계를 사용하여 정보 지수에 대한 가정을 검증한다.
• 비트레이스러운 상관관계가 확립된 후 내림내림 단계가 대수법칙 유사 행동을 보이며 매우 빠르게 수렴함을 입증한다.
• 정보 지수 조건을 검증함으로써, 위상 복원, 온라인 PCA, 일반 활성화 함수를 갖는 단일층 네트워크를 포함한 다양한 모델에서 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 고차원 비볼록 추론에서 온라인 SGD가 일관된 추정을 달성하기 위해 필요한 최소 표본 수는 얼마인가?
• RQ2 온라인 SGD의 성능은 볼록성 또는 균일한 부드러움이 없는 상황에서 인구 손실의 내재 기하학적 성질에 어떻게 의존하는가?
• RQ3 고차원 SGD에서 무작위 초기화 상태에서 데이터의 대부분이 초기 탐색 단계에서 소비되는가, 아니면 내림내림 단계에서 소비되는가?
• RQ4 단일 매개변수인 정보 지수로 다양한 추론 작업 간의 표본 복잡도 임계값을 통합할 수 있는가?
• RQ5 비트레이스러운 상관관계가 확립된 후 SGD의 내림내림 단계가 결정론적이고 대수법칙 유사 행동을 보이는가?

주요 결과

• 일관된 추정을 위한 표본 복잡도 임계값은 차원에 대해 다항식이며, 이 지수는 손실 함수의 정보 지수에 의해 명시적으로 결정된다.
• 가장 단순한 작업을 제외한 대부분의 경우, 거의 모든 데이터가 진짜 값과의 비트레이스러운 상관관계를 확립하기 위해 초기 탐색 단계에서 소비된다.
• 비트레이스러운 상관관계가 확립된 후 내림내림 단계는 매우 빠르게 수렴하며 결정론적 한계에 도달하며 대수법칙 행동을 보인다.
• 정보 지수는 일관된 추정을 위한 날카로운 임계값을 지배하며, 이는 볼록성 또는 균일한 부드러움이 아닌 손실의 기울기의 모멘트 조건을 통해 정의된다.
• 이 프레임워크는 위상 복원, 일반선형 모델, 온라인 PCA, 스피iked 텐서 모델, 일반 활성화 함수를 갖는 단일층 네트워크 등에 광범위하게 적용 가능하다.
• 이 분석은 손실 또는 그 도함수에 대한 균일한 경계가 필요로 하지 않아, 측정 집합 현상으로 인해 이러한 가정이 실패하는 고차원 추론 문제에도 적용 가능하다.