[논문 리뷰] Gradient descent in Gaussian random fields as a toy model for high-dimensional optimisation in deep learning

Mariano Chouza, Stephen Roberts외 1명|arXiv (Cornell University)|2018. 03. 24.

Gaussian Processes and Bayesian Inference참고 문헌 7인용 수 3

한 줄 요약

이 논문은 고차원 최적화에서 경사하강법의 성능을 이해하기 위해 딥러닝 손실 곡면을 가우시안 랜덤 필드로 모델링한다. 한 단계의 기대 손실 향상도에 대한 해석적 표현을 유도하고, 향상된 손실의 점근적 정규성을 증명하며, 고차원에서 경사하강법이 무작위 탐색보다 유의미하게 뛰어나며, 최적 학습률이 $\eta_{\text{opt}} \approx N^{-1/2}$로 스케일링됨을 보여준다.

ABSTRACT

In this paper we model the loss function of high-dimensional optimization problems by a Gaussian random field, or equivalently a Gaussian process. Our aim is to study gradient descent in such loss functions or energy landscapes and compare it to results obtained from real high-dimensional optimization problems such as encountered in deep learning. In particular, we analyze the distribution of the improved loss function after a step of gradient descent, provide analytic expressions for the moments as well as prove asymptotic normality as the dimension of the parameter space becomes large. Moreover, we compare this with the expectation of the global minimum of the landscape obtained by means of the Euler characteristic of excursion sets. Besides complementing our analytical findings with numerical results from simulated Gaussian random fields, we also compare it to loss functions obtained from optimisation problems on synthetic and real data sets by proposing a "black box" random field toy-model for a deep neural network loss function.

연구 동기 및 목표

• 딥러닝 최적화에서 고차원에서 경사하강법이 성공하는 이유를 손실 곡면을 가우시안 랜덤 필드(GRFs)로 모델링하여 이해하기 위해.
• 단일 경사하강법 단계 이후 손실 값의 분포에 대한 정확한 해석적 표현을 도출하기 위해.
• 경사하강법 성능을 무작위 탐색과 비교하고, 근사 집합 이론을 사용하여 기대 전역 최소값을 추정하기 위해.
• 수치 시뮬레이션과 실제 데이터셋(MNIST 등)에 기반한 '블랙박스' GRF 모델을 통해 이론적 결과를 검증하기 위해.

제안 방법

• 고차원 최적화의 손실 함수를 제곱 지수 공분산 $k(r) = \exp(-r^2/2)$를 가진 평균 0인 가우시안 랜덤 필드로 모델링한다.
• 차원 $N$과 학습률 $\eta$에 대한 함수로, 한 단계의 경사하강법 이후 손실의 기댓값 $\mathbb{E}[\Phi_1]$과 분산 $\text{Var}(\Phi_1)$의 일차 및 이차 모멘트를 유도한다.
• 고차원 극한($N \to \infty$)에서 정규화된 손실 $\Phi_1$의 점근적 정규성을 증명하며, 평균이 $\propto -N^{1/2}$이고 분산이 일정한 정규분포로 수렴함을 보여준다.
• 유효 구역 내 기대 전역 최소값을 근사하기 위해 근사 집합의 오일러 지표를 사용하여 추정하며, 이는 경사하강법 성능과의 비교를 가능하게 한다.
• GRF의 수치 시뮬레이션을 통해 이론적 예측을 검증하며, $N=500$까지의 차원에서 실시하고, 합성 데이터 및 MNIST 데이터에 기반한 GRF 기반 '블랙박스' 모델을 훈련한다.
• 최적 학습률 $\eta_{\text{opt}} \approx N^{-1/2}$를 무작위 탐색과 비교하여 고차원에서 더 뛰어난 스케일링 성능을 보임을 입증한다.

실험 결과

연구 질문

• RQ1 파arameter 공간의 차원 $N$에 따라 한 단계의 경사하강법 이후 기대 손실 값은 어떻게 스케일링되는가?
• RQ2 고차원 GRF에서 경사하강법의 최적 학습률 $\eta_{\text{opt}}$는 무엇이며, 무작위 탐색과 비교해보면 어떻게 되는가?
• RQ3 고차원 극한($N \to \infty$)에서 향상된 손실 값 $\Phi_1$의 분포는 정규분포로 수렴하는가?
• RQ4 기대값 $\mathbb{E}[\Phi_1]$는 근사 집합의 오일러 지표를 통해 추정된 손실 곡면의 기대 전역 최소값과 어떻게 비교되는가?
• RQ5 경사하강법을 통해 훈련된 '블랙박스' GRF 모델은 MNIST와 같은 실제 데이터셋에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 한 단계의 경사하강법 이후 기대 손실은 $\mathbb{E}[\Phi_1] \approx -(N/e)^{1/2}$로 스케일링되며, 고차원에서 무작위 탐색보다 뚜렷한 향상을 보임을 보여준다.
• 최적 학습률은 $\eta_{\text{opt}} \approx N^{-1/2}$로 스케일링되며, 이는 기대 손실을 최소화하고 낮은 손실 영역으로의 수렴을 보장한다.
• $\Phi_1$의 분포는 $N \to \infty$에서 점점 정규분포로 수렴하며, 평균은 $-N^{1/2}$에 비례하고 분산은 $N$과 무관하다.
• 고차원 극한에서 단위 구 내 기대 전역 최소값은 $\mathbb{E}[\Phi_1]$와 $\sqrt{e}$의 인자만 다를 뿐이며, 이는 경사하강법가 근접 최소 영역에 효율적으로 접근함을 시사한다.
• 수치 시뮬레이션을 통해 $\mathbb{E}[\Phi_1]$와 $\text{Var}(\Phi_1)$의 이론적 예측이 $N=500$까지의 모든 차원에서 확인된다.
• 오직 5000개의 파라미터만을 가진 '블랙박스' GRF 모델이 MNIST에 대해 훈련되었을 때, 테스트 정확도가 96%를 초과하여, 이 단순 모델이 실제 딥러닝 문제의 핵심 최적화 역학을 잘 포착하고 있음을 보여준다.