[논문 리뷰] Is SGD a Bayesian sampler? Well, almost

Chris Mingard, Guillermo Valle-Pérez외 2명|arXiv (Cornell University)|2020. 06. 26.

Stochastic Gradient Optimization Techniques참고 문헌 94인용 수 8

한 줄 요약

이 논문은 오버파ram터화된 딥 네ural 네트워크에서 확률적 경사 하강법(SGD)이 베이지안 샘플러로 작용하는지 조사한다. 가우시안 프로세스를 사용해 베이지안 사후분포를 추정함으로써, 훈련 데이터 $S$ 가 주어졌을 때 SGD가 함수 $f$ 로 수렴할 확률이 베이지안 사후분포 $P_{\textrm{B}}(f|S)$ 와 밀도 높게 상관됨을 발견하였으며, 이는 일반화에 기여하는 주요 인도적 편향이 SGD 자체가 아니라 훈련되지 않은 네트워크의 파라미터-함수 맵에 기인한다는 것을 시사한다.

ABSTRACT

Overparameterised deep neural networks (DNNs) are highly expressive and so can, in principle, generate almost any function that fits a training dataset with zero error. The vast majority of these functions will perform poorly on unseen data, and yet in practice DNNs often generalise remarkably well. This success suggests that a trained DNN must have a strong inductive bias towards functions with low generalisation error. Here we empirically investigate this inductive bias by calculating, for a range of architectures and datasets, the probability $P_{SGD}(f\mid S)$ that an overparameterised DNN, trained with stochastic gradient descent (SGD) or one of its variants, converges on a function $f$ consistent with a training set $S$. We also use Gaussian processes to estimate the Bayesian posterior probability $P_B(f\mid S)$ that the DNN expresses $f$ upon random sampling of its parameters, conditioned on $S$. Our main findings are that $P_{SGD}(f\mid S)$ correlates remarkably well with $P_B(f\mid S)$ and that $P_B(f\mid S)$ is strongly biased towards low-error and low complexity functions. These results imply that strong inductive bias in the parameter-function map (which determines $P_B(f\mid S)$), rather than a special property of SGD, is the primary explanation for why DNNs generalise so well in the overparameterised regime. While our results suggest that the Bayesian posterior $P_B(f\mid S)$ is the first order determinant of $P_{SGD}(f\mid S)$, there remain second order differences that are sensitive to hyperparameter tuning. A function probability picture, based on $P_{SGD}(f\mid S)$ and/or $P_B(f\mid S)$, can shed new light on the way that variations in architecture or hyperparameter settings such as batch size, learning rate, and optimiser choice, affect DNN performance.

연구 동기 및 목표

• 오버파라미터화된 딥 네ural 네트워크(DNNs)에서 SGD가 함수 선택 확률을 베이지안 사후분포와 비교함으로써, SGD가 베이지안 샘플러로 작용하는지 조사하는 것.
• DNN에서 일반화를 가능하게 하는 인도적 편향이 SGD의 최적화 다이내믹스에 기인하는지, 아니면 훈련되지 않은 네트워크의 파라미터-함수 맵에 기인하는지 판단하는 것.
• 초파ram터 튜닝과 최적화기 선택이 SGD의 함수 선택 확률과 베이지안 사후분포 사이의 이차 편차에 미치는 영향의 정도를 정량화하는 것.
• 함수 선택 확률 프레임워크 $P_{\textrm{SGD}}(f|S)$ 와 $P_{\textrm{B}}(f|S)$ 를 기반으로 하여, 아키텍처 및 초파라미터 선택이 DNN 일반화에 미치는 영향을 분석하는 것.
• 이 함수 선택 확률 프레임워크가 불확실성 정량화 및 모델 설계에 미치는 영향, 특히 딥 앙상블과의 관련성을 평가하는 것.

제안 방법

• 다양한 DNN 아키텍처와 데이터셋에서, 훈련 세트 $S$ 와 일致하는 함수 $f$ 로 수렴할 확률 $P_{\textrm{SGD}}(f|S)$ 를 경험적으로 추정한다.
• 가우시안 프로세스를 사용해 비모수적 방식으로 베이지안 사후분포 $P_{\textrm{B}}(f|S)$ 를 추정하며, 이는 무작위로 샘플된 훈련되지 않은 DNN이 $S$ 를 기반으로 함수 $f$ 를 표현할 확률을 나타낸다.
• $P_{\textrm{SGD}}(f|S)$ 와 $P_{\textrm{B}}(f|S)$ 를 로그 척도에서 비교하여 상관관계를 평가하고 편차를 식별한다.
• 파라미터-함수 맵의 역할을 분석하기 위해, 특히 저복잡도 및 저오차 함수를 향한 지수적 편향을 포함한 훈련되지 않은 DNN의 사전 편향을 평가한다.
• 학습률, 배치 크기, 최적화기 선택과 같은 초파라미터를 체계적으로 변화시켜, $P_{\textrm{SGD}}(f|S)$ 와 $P_{\textrm{B}}(f|S)$ 사이의 이차 편차에 미치는 영향을 측정한다.
• 함수 선택 확률 관점에서 다양한 아키텍처와 학습 설정 간의 모델 성능을 해석하고 비교한다.

실험 결과

연구 질문

• RQ1 오버파라미터화된 DNN에서 SGD의 함수 선택 확률 $P_{\textrm{SGD}}(f|S)$ 와 베이지안 사후분포 $P_{\textrm{B}}(f|S)$ 는 어느 정도 상관되는가?
• RQ2 DNN에서 일반화를 위한 인도적 편향은 주로 SGD의 최적화 다이내믹스에 기인하는가, 아니면 훈련되지 않은 네트워크의 본질적인 파라미터-함수 맵에 기인하는가?
• RQ3 학습률, 배치 크기, 최적화기 유형과 같은 초파라미터 선택은 $P_{\textrm{SGD}}(f|S)$ 와 $P_{\textrm{B}}(f|S)$ 사이의 이차 편차에 어떻게 영향을 미치는가?
• RQ4 함수 선택 확률 프레임워크 $P_{\textrm{SGD}}(f|S)$ 와 $P_{\textrm{B}}(f|S)$ 는 평균 테스트 오차만으로는 이해하기 어려운 DNN 일반화의 더 세밀한 이해를 가능하게 하는가?
• RQ5 SGD와 베이지안 샘플링 간의 관찰된 일치는 딥 앙상블을 DNN에서 예측 불확실성 정량화에 사용하는 데 이론적 근거를 제공하는가?

주요 결과

• SGD가 훈련 데이터 $S$ 와 일치하는 함수 $f$ 로 수렴할 확률 $P_{\textrm{SGD}}(f|S)$ 는 특히 로그 척도에서 베이지안 사후분포 $P_{\textrm{B}}(f|S)$ 와 놀랄 만큼 높은 상관관계를 보인다.
• 베이지안 사후분포 $P_{\textrm{B}}(f|S)$ 는 일반화 오차가 낮고 복잡도가 낮은 함수를 향한 강력한 편향을 보이며, 이는 훈련되지 않은 DNN의 파라미터-함수 맵이 인도적 편향의 주요 원천임을 시사한다.
• $P_{\textrm{SGD}}(f|S)$ 와 $P_{\textrm{B}}(f|S)$ 사이의 이차 편차는 학습률과 배치 크기와 같은 초파라미터 튜닝에 민감하게 반응하며, 이는 SGD가 약간의 비베이지안 효과를 도입할 수 있음을 시사한다.
• 오버파라미터화된 DNN에서 일반화의 주요 원인은 SGD 자체의 특수한 성질이 아니라, 파라미터-함수 맵의 인도적 편향에 기인한다.
• $P_{\textrm{B}}(f|S)$ 와 $P_{\textrm{SGD}}(f|S)$ 를 기반으로 한 함수 선택 확률 프레임워크는 평균 테스트 오차만으로는 분석하기 어려운 초파라미터 및 아키텍처 선택의 영향을 더 세밀하게 평가할 수 있는 도구를 제공한다.
• SGD와 베이지안 샘플링 간의 밀접한 일치는 딥 앙상블을 DNN에서 예측 불확실성 정량화에 사용하는 데 이론적 근거를 제공한다.