[논문 리뷰] A classification for the performance of online SGD for high-dimensional inference.

Gérard Ben Arous, Reza Gheissari외 1명|arXiv (Cornell University)|2020. 03. 23.

Stochastic Gradient Optimization Techniques참고 문헌 67인용 수 2

한 줄 요약

이 논문은 고차원 추론에서 온라인 확률적 경사하강법(SGD) 성능을 분류하기 위해 인구 손실의 내재적 성질인 '정보 지수(information exponent)'를 정의함으로써 제안한다. 이는 약한 복원(weak recovery)을 위한 필요 샘플 수에 따라 선형, 준선형, 다항식의 차원에 비례하는 세 가지 영역—쉬움, 임계, 어려움—을 규명하며, 히르미트 분해를 통해 일반선형 모델, 위상 재구성, 신경망 등 다양한 응용 분야에 적용된다.

ABSTRACT

Stochastic gradient descent (SGD) is a popular algorithm for optimization problems arising in high-dimensional inference tasks. Here one produces an estimator of an unknown parameter from a large number of independent samples of data by iteratively optimizing a loss function. This loss function is high-dimensional, random, and often complex. We study here the performance of the simplest version of SGD, namely online SGD, in the initial search phase, where the algorithm is far from a trust region and the loss landscape is highly non-convex. To this end, we investigate the performance of online SGD at attaining a better than random correlation with the unknown parameter, i.e, achieving weak recovery. Our contribution is a classification of the difficulty of typical instances of this task for online SGD in terms of the number of samples required as the dimension diverges. This classification depends only on an intrinsic property of the population loss, which we call the information exponent. Using the information exponent, we find that there are three distinct regimes---the easy, critical, and difficult regimes---where one requires linear, quasilinear, and polynomially many samples (in the dimension) respectively to achieve weak recovery. We illustrate our approach by applying it to a wide variety of estimation tasks such as parameter estimation for generalized linear models, two-component Gaussian mixture models, phase retrieval, and spiked matrix and tensor models, as well as supervised learning for single-layer networks with general activation functions. In this latter case, our results translate into a classification of the difficulty of this task in terms of the Hermite decomposition of the activation function.

연구 동기 및 목표

• 고차원 비볼록 최적화 환경에서 온라인 SGD의 초기 단계 성능을 이해하는 것.
• 진짜 매개변수와의 상관관계가 랜덤보다 우수한 약한 복원을 달성하는 데 필요한 어려움을 고차원 추론 과제에서 분류하는 것.
• 인구 손실의 내재적 성질에 기반한 샘플 복잡도 영역(선형, 준선형, 다항식)을 규명하는 것.
• 가우스 혼합 모델, 위상 재구성, 단일층 신경망과 같은 다양한 추정 과제를 통합 분석하는 것.
• 신경망에서 학습의 어려움을 활성화 함수의 히르미트 분해와 연결하는 것.

제안 방법

• 샘플 복잡도를 결정짓는 핵심 내재적 성질로 '정보 지수'를 도입한다.
• 비볼록 손실 곡면에서, 어떤 신뢰 영역에서도 멀리 떨어진 초기 단계에서 온라인 SGD를 분석한다.
• 통계역학 기반 기법을 사용하여 진짜 매개변수와의 상관관계 기반으로 약한 복원 성능을 특성화한다.
• 정보 지수의 값에 따라 샘플 복잡도 임계점을 도출하고, 세 가지 명확히 구분된 영역을 식별한다.
• 이 프레임워크를 일반선형 모델, 이원소 가우스 혼합 모델, 스파이크 텐서 및 행렬 모델, 단일층 네트워크에 적용한다.
• 신경망의 경우, 어려움은 활성화 함수의 히르미트 계수에 의해 결정되며, 스펙트럼 분해를 통한 분류가 가능해진다.

실험 결과

연구 질문

• RQ1 고차원 추론에서 온라인 SGD가 약한 복원을 달성하기 위해 필요한 샘플 복잡도는 무엇에 의해 결정되는가?
• RQ2 인구 손실의 구조는 고차원 비볼록 초기 단계에서 온라인 SGD의 수렴 행동에 어떻게 영향을 주는가?
• RQ3 단일한 내재적 성질이 온라인 SGD에 대한 고차원 추론 과제의 어려움을 분류하는 데 유용한가?
• RQ4 활성화 함수의 히르미트 분해는 단일층 신경망의 학습 가능성과 어떻게 관련되는가?
• RQ5 고차원 환경에서 약한 복원을 위한 샘플 복잡도의 명확히 구분된 영역는 무엇인가?

주요 결과

• 인구 손실의 정보 지수는 온라인 SGD를 통한 약한 복원을 위한 샘플 복잡도 영역을 완전히 결정한다.
• 세 가지 명확히 구분된 영역이 나타나며, 각각 차원에 대해 선형 샘플(쉬움), 준선형 샘플(임계), 다항식 샘플(어려움)에 해당한다.
• 이 분류는 일반선형 모델, 가우스 혼합 모델, 위상 재구성, 스파이크 텐서/행렬 모델 등에 적용 가능한 보편적 성질을 지닌다.
• 단일층 신경망의 경우, 어려움은 활성화 함수의 히르미트 분해에 의해 결정되며, 고차원 성분이 많을수록 샘플 복잡도가 증가한다.
• 결과는 약한 복원에 대한 날카운 임계점을 제공하며, 손실의 인구 구조의 꼬리 행동이 성능에 결정적으로 영향을 준다는 것을 보여준다.
• 이 프레임워크는 시뮬레이션 없이도 정보 지수만으로 성공적인 추론을 위한 샘플 크기를 예측할 수 있게 한다.