[논문 리뷰] The high-dimensional asymptotics of first order methods with random data

Michael Celentano, Cheng Chen외 1명|arXiv (Cornell University)|2021. 12. 14.

Theoretical and Computational Physics인용 수 15

한 줄 요약

이 논문은 i.i.d. 서브가우시안 성분을 가진 무작위 데이터 행렬에서 일阶 최적화 방법—예를 들어 경사 하강 유도—의 고차원 점근적 특성을 수립한다. 새로운 약간의 메시지 전달(AMP) 알고리즘으로의 환원을 통해, 이들이 하위가우시안 분포의 구체적 형태에 관계없이 항상 k 차원의 비선형 확률과정으로 구성된 결정론적 시스템으로 수렴함을 증명한다. 이는 동적 평균장 이론(DMFT)으로 알려진 고정점 방정식에 의해 지배된다.

ABSTRACT

We study a class of deterministic flows in ${\mathbb R}^{d imes k}$, parametrized by a random matrix ${\boldsymbol X}\in {\mathbb R}^{n imes d}$ with i.i.d. centered subgaussian entries. We characterize the asymptotic behavior of these flows over bounded time horizons, in the high-dimensional limit in which $n,d o\infty$ with $k$ fixed and converging aspect ratios $n/d oδ$. The asymptotic characterization we prove is in terms of a system of a nonlinear stochastic process in $k$ dimensions, whose parameters are determined by a fixed point condition. This type of characterization is known in physics as dynamical mean field theory. Rigorous results of this type have been obtained in the past for a few spin glass models. Our proof is based on time discretization and a reduction to certain iterative schemes known as approximate message passing (AMP) algorithms, as opposed to earlier work that was based on large deviations theory and stochastic processes theory. The new approach provides a unified view of a general class of algorithms and implies that the high-dimensional behavior of the flow is universal with respect to the distribution of the entries of ${\boldsymbol X}$. As specific applications, we obtain high-dimensional characterizations of gradient flow in some classical models from statistics and machine learning, under a random design assumption.

연구 동기 및 목표

• n, d → ∞ 이면서 n/d → δ 이고 k는 고정일 때, 무작위 설계 설정에서의 일阶 최적화 유도의 고차원 극한을 특성화하는 것.
• 데이터 행렬 원소의 서브가우시안 분포의 구체적 형태에 관계없이 이들 유도의 보편적인 점근적 기술을 수립하는 것.
• 고차원 통계 및 머신러닝에서 경사 하강 유도 및 관련 알고리즘을 분석하기 위한 엄밀하고 통합된 프레임워크를 제공하는 것.
• 최적화 궤적의 극한 행동을 k 차원 확률과정으로 기술하는 명시적 고정점 방정식(DMFT 방정식)을 유도하는 것.

제안 방법

• i.i.d. 중심 서브가우시안 성분을 가진 무작위 데이터 행렬 X ∈ R^{n×d}에 의해 구동되는 R^{d×k} 위의 결정론적 동역학 시스템으로 최적화 유도를 수식화하는 것.
• 시간 이산화를 통해 연속적 유도를 근사하고, 약간의 메시지 전달(AMP) 알고리즘과 유사한 반복적 절차로 환원하는 것.
• 유도의 경험적 분포가 비선형 SDE 시스템에 의해 지배되는 결정론적 k 차원 확률과정으로 수렴함을 확립하는 것.
• 극한 역학이 신호와 노이즈의 공분산 구조를 포함하는 고정점 방정식을 만족함을 증명하며, 함수 공간 위에서의 수축 사상 원리에 기반한 증명을 사용하는 것.
• 일반선형 모델 및 무작위 특징을 가진 신경망 학습과 같은 구체적 모델에 프레임워크를 적용하는 것.
• 회전 대칭성과 스틸의 보조정리를 활용하여 고정점 방정식을 단순화하고 해를 구하며, 이를 프록시멀 연산자와 헤시안 구조와 연결하는 것.

실험 결과

연구 질문

• RQ1 i.i.d. 랜덤 데이터 행렬을 가진 고차원 설정에서 일阶 최적화 방법은 어떻게 행동하는가?
• RQ2 경사 하강 유도의 고차원 역학은 데이터의 서브가우시안 분포에 관계없이 보편적으로 기술될 수 있는가?
• RQ3 최적화 궤적의 극한 행동은 평균과 공분산의 진화 측면에서 어떻게 기술되는가?
• RQ4 고차원에서 연속 시간 유도로부터 동적 평균장 이론(DMFT)의 고정점 방정식은 어떻게 유도되는가?
• RQ5 유도가 고차원 극한에서 그 극한 분포로 수렴하는 속도는 어떠한가?

주요 결과

• 일阶 유도의 고차원 극한은 데이터 행렬 원소의 서브가우시안 분포의 형태에 관계없이 항상 비선형 SDE 시스템에 의해 지배되는 k 차원 확률과정으로 수렴한다.
• 극한 역학은 헤시안의 역행렬과 노이즈 공분산을 포함하는 고정점 방정식을 만족하며, 이는 함수 공간 위에서의 수축 사상 원리에 의해 해를 구할 수 있다.
• 정규화된 위험 함수의 강凸성 조건 하에서, 유도가 극한 분포로 수렴하는 속도는 지수적으로 빠르며, ∥θt − θ∞∥L2 ≤ Ce−c0t 를 만족하는 일부 c0 > 0 가 존재한다.
• 매개변수의 극한 공분산 구조는 신호 사전분포, 노이즈, 손실 함수의 헤시안을 연결하는 고정점 방정식으로 특성화된다.
• 이 프레임워크는 일반선형 모델 및 무작위 특징을 가진 두 층 신경망과 같은 모델에 보편적으로 적용되며, 최적화 경로의 정확한 점근적 기술을 제공한다.
• 유도된 DMFT 방정식은 프록시멀 연산자와 헤시안 기반 업데이트와 동치이며, 고차원에서의 최적화 역학을 통계적 추정과 연결한다.