[논문 리뷰] Stochastic gradient descent with noise of machine learning type. Part II: Continuous time analysis

Stephan Wojtowytsch|arXiv (Cornell University)|2021. 06. 04.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 확률적 경사 하강법(SGD)을 연속 시간에서 기계학습 유형의 노이즈를 가진 확률적 미분 방정식(SDE)을 사용하여 분석한다. 기존의 균일한 노이즈를 가진 고전적 SGD와는 달리, 이 노이즈 구조는 비볼록 최적화에서 평탄한 최소값을 선호하게 하며, 목적 함수 값에 비례하여 노이즈가 스케일링되기 때문에 손실 곡면의 평탄한 영역 근처에 불변 측도가 집중되기 때문이다.

ABSTRACT

The representation of functions by artificial neural networks depends on a large number of parameters in a non-linear fashion. Suitable parameters of these are found by minimizing a 'loss functional', typically by stochastic gradient descent (SGD) or an advanced SGD-based algorithm. In a continuous time model for SGD with noise that follows the 'machine learning scaling', we show that in a certain noise regime, the optimization algorithm prefers 'flat' minima of the objective function in a sense which is different from the flat minimum selection of continuous time SGD with homogeneous noise.

연구 동기 및 목표

• 과소매개화된 딥 러닝에서 목적 함수 값에 비례하여 노이즈가 스케일링되는 경우, 확률적 경사 하강법(SGD)의 장기적 행동을 이해하기 위해.
• 글로벌 최소값에서 사라지는 기계학습 전용 노이즈가 고전적 균일한 노이즈 모델과 비교해 SGD의 불변 분포에 어떤 영향을 미치는지 조사하기 위해.
• ML 유형의 노이즈 하에서 장기적 역학을 기술하는 데에 보르츠만 분포가 부적절한 모델임을 입증하기 위해.
• 노이즈의 비퇴화성과 스케일링으로 인해 최적화 과정이 평탄한 최소값을 선호함을 보여주기 위해.
• 새로운 노이즈 구조 하에서 관련된 포커-플랭크 연산자의 스펙트럼 성질을 기술하는 Poincaré-Hardy 부등식을 유도하기 위해.

제안 방법

• 손실 함수의 제곱근에 비례하는 노이즈 강도를 가진 연속 시간 이토 확률 미분 방정식(SDE)으로 SGD를 모델링한다: $ d\theta_t = -\nabla L(\theta_t) dt + \frac{1}{2}\nabla \theta_t \frac{1}{\theta_t} dt + \frac{1}{2}\nabla \theta_t \frac{1}{\theta_t} dt $.
• 확산 과정의 생성자와 관련된 포커-플랭크 방정식을 사용하여 SDE의 불변 측도를 분석한다.
• 기하학적 특성과 불변 측도의 집중도를 연결하는 새로운 하디 유형의 부등식을 통해 가중치가 부여된 Poincaré 부등식을 수립한다.
• 컷오프 함수 기법과 에너지 추정을 사용하여 PDE의 약한 형태에서 기울기 항의 수렴성을 증명한다.
• 비선형성의 비퇴화성에 기반한 타원형 PDE의 국소 정규성 이론을 적용하여 최소값 집합에서의 확산 행렬의 비퇴화성을 다룬다.
• 불변 측도가 손실 함수의 최소값 집합에 집중되며, 손실에 따라 스케일링되는 노이즈로 인해 평탄한 영역 쪽으로 편향됨을 증명한다.

실험 결과

연구 질문

• RQ1 기계학습 유형의 노이즈를 가진 SGD의 불변 분포는 장기적으로 고전적 보르츠만 분포와 어떻게 다를까?
• RQ2 글로벌 최소값에서 사라지는 노이즈가 비볼록 최적화에서 최소값 선택에 어떤 영향을 미치는가?
• RQ3 손실 함수에 비례하는 노이즈 강도를 가지는 비퇴화 확산에서 Poincaré 유형의 부등식을 수립할 수 있는가?
• RQ4 ML 유형의 노이즈 하에서 최적화 과정이 평탄한 최소값을 선호하는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ5 특히 평탄함을 포함한 손실 곡면의 기하학적 특성이 손실에 따라 스케일링되는 노이즈 하에서 불변 측도와 어떻게 상호작용하는가?

주요 결과

• ML 유형의 노이즈를 가진 연속 시간 SGD의 불변 측도는 글로벌 최소값 집합에 집중되며, 손실에 따라 스케일링되는 노이즈로 인해 평탄한 영역 쪽으로 편향된다.
• 고전적 보르츠만 분포가 장기적 역학을 기술하는 데 실패하는 이유는 노이즈 강도가 최소값에서 사라지기 때문에 표준 평형 가정이 성립하지 않기 때문이다.
• 손실 함수가 최소값 집합과 무한대에서 이차적으로 행동한다고 가정할 경우, 포커-플랭크 연산자의 스펙트럼 분석을 가능하게 하는 Poincaré-Hardy 부등식이 수립된다.
• 증명은 컷오프 함수 기법과 에너지 추정에 기반하며, 이는 약한 형태의 PDE에서 기울기 항이 극한에서 사라짐을 확인함으로써 최소값 집합에의 집중을 뒷받침한다.
• 이 방법은 노이즈에 의해 유도된 드리프트와 확산 구조가 손실 값이 작을 뿐 아니라 평탄한 영역을 선호함을 드러내며, 노이즈 크기가 손실 값에 비례하기 때문이다.
• 매개변수 공간의 차원, 손실 함수의 동차성, 학습률 스케일링 간의 호환 조건을 만족할 경우, 불변 측도의 존재를 보장하며 이 결과는 그 조건 하에서 유의하다.