[논문 리뷰] Quasi-potential as an implicit regularizer for the loss function in the stochastic gradient descent

Wenqing Hu, Zhanxing Zhu외 2명|arXiv (Cornell University)|2019. 01. 18.

Markov Chains and Monte Carlo Methods참고 문헌 26인용 수 9

한 줄 요약

이 논문은 확률적 경사 하강법(SGD)에 새로운 암묵적 정규화 기법으로 준위상잠재함수(quasi-potential)를 도입하며, 노이즈 공분산 구조—특히 비등방성—이 장기적인 SGD 역학을 정의하는 잠재함수를 형성하여 국소 최소점에서의 탈출을 규명함을 보여준다. 대규모 편차 이론과 하밀턴–자비 PDE를 사용하여, 비등방성 노이즈가 탈출 속도를 가속화하고, 원래 손실 값이 동일한 경우에도 더 평탄하고 일반화 능력이 뛰어난 최소점으로의 편향을 유도함을 입증한다.

ABSTRACT

We interpret the variational inference of the Stochastic Gradient Descent (SGD) as minimizing a new potential function named the extit{quasi-potential}. We analytically construct the quasi-potential function in the case when the loss function is convex and admits only one global minimum point. We show in this case that the quasi-potential function is related to the noise covariance structure of SGD via a partial differential equation of Hamilton-Jacobi type. This relation helps us to show that anisotropic noise leads to faster escape than isotropic noise. We then consider the dynamics of SGD in the case when the loss function is non-convex and admits several different local minima. In this case, we demonstrate an example that shows how the noise covariance structure plays a role in "implicit regularization", a phenomenon in which SGD favors some particular local minimum points. This is done through the relation between the noise covariance structure and the quasi-potential function. Our analysis is based on Large Deviations Theory (LDT), and they are validated by numerical experiments.

연구 동기 및 목표

• SGD의 노이즈 공분산 구조가 딥러닝에서 암묵적 정규화를 유도하는 방식을 통합된 이론적 프레임워크로 설명하는 것.
• 새로운 잠재함수를 통해 SGD의 확률적 역학과 정적 분포의 장기적 행동 간의 관계를 수식적으로 명시하는 것.
• 비등방성 노이즈가 날카로운 최소점에서의 탈출 속도를 높이고, 더 평탄하고 일반화 능력이 뛰어난 최소점으로의 선택을 유도하는 준위상잠재함수 경로를 보여주는 것.
• 대규모 편차 이론과 변분법을 사용하여 노이즈 공분산 행렬과 도출된 준위상잠재함수 간의 정량적 연결 고리를 설정하는 것.
• 제안된 이론적 프레임워크를 수치 실험을 통해 검증하여, 다양한 노이즈 구조 하에서 최소점 선택에 대한 편향을 입증하는 것.

제안 방법

• 국소 최소점의 골짜기에서 유도된 경계 조건을 갖는 하밀턴–자비 편미분방정식(PDE)의 해로 전역 준위상잠재함수 φ^QP를 정의한다.
• 손실 곡면과 노이즈 공분산 행렬 D(x)에 명시적으로 의존하는 라그랑지안을 갖는 변분 문제를 통해 局소 준위상잠재함수를 구성한다.
• 대규모 편차 이론(LDT)을 적용하여 국소 최소점 골짜기에서의 탈출 확률을 추정하며, 탈출 경로를 따라 적분된 작용량을 통해 준위상잠재함수와 연결한다.
• SGD의 마르코프 성질을 활용하여 탈출 확률과 탈출 시간을 연결함으로써, 낮은 탈출 확률은 골짜기 내에서의 오랜 갇힘 시간을 의미함을 보여준다.
• 볼록 케이스에서는 하밀턴–자비 PDE를 해석적으로, 비볼록 예제에서는 수치적으로 해결하여 등방성 대비 비등방성 노이즈 하에서의 행동을 비교한다.
• 통제된 노이즈 비등방성 구조를 갖는 다우웰 포텐셜 장치에서의 SGD 역학에 대한 수치 시뮬레이션을 통해 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 SGD의 노이즈 공분산 구조는 장기적인 국소 최소점 선택에 어떻게 영향을 미치는가?
• RQ2 SGD에서 관찰된 암묵적 정규화를 설명하기 위해 새로운 잠재함수인 준위상잠재함수를 구성할 수 있는가?
• RQ3 노이즈 공분산 행렬과 도출된 준위상잠재함수 경로 간의 수학적 관계는 무엇인가?
• RQ4 비등방성 노이즈는 등방성 노이즈보다 날카로운 국소 최소점에서 더 빠르게 탈출하는가? 그 이유는 무엇인가?
• RQ5 준위상잠재함수 프레임워크는 원래 손실 값이 동일한 경우에도 특정 최소점으로의 선호를 어떻게 설명하는가?

주요 결과

• 단일 전역 최소점이 존재하는 볼록 케이스에서는 노이즈가 등방성일 경우 전역 준위상잠재함수 φ^QP가 원래 손실 함수의 상수배로 축소된다.
• 비등방성 노이즈는 국소 최소점 골짜기에서의 탈출 속도를 높이며, 수치 실험을 통해 μ = 1.9999일 때 단위 원판에서의 탈출이 μ = 1일 때보다 빠르게 발생함을 확인하였다.
• 수치 결과에 따르면 비등방성 노이즈 하에서 SGD는 높은 노이즈 분산 방향, 예를 들어 예제 3.1에서의 수평축 방향으로 골짜기에서 우선적으로 탈출하는 경향이 있다.
• 두 개의 대칭적인 최소점이 존재하는 비볼록 장치에서, 한 골짜기에서는 비등방성 노이즈(μ₁ = 1.9999)를, 다른 골짜기에서는 등방성 노이즈(μ₂ = 1.0001)를 사용할 경우, SGD는 등방성 골짜기(O₂)로의 선택 편향을 보이며, 이는 노이즈 구조에 의한 선택적 편향을 입증한다.
• 준위상잠재함수 프레임워크는 국소 최소점 간의 마르코프 체인에 기반한 암묵적 정규화를 설명하며, 전이율이 하밀턴–자비 PDE를 통해 노이즈 공분산 구조에 의해 결정됨을 보여준다.
• 이 프레임워크는 탈출 시간과 경로를 따라 적분된 작용량 간의 정량적 연결 고리를 제공하며, 이는 비등방성 확산 행렬 D(x)에 의존한다.