[논문 리뷰] A Continuous-time Stochastic Gradient Descent Method for Continuous Data

Kexin Jin, Jonas Latz외 2명|arXiv (Cornell University)|2021. 12. 07.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 연속 데이터 위에서 최적화를 위한 연속시간 확률적 경사하강법(SGP)을 제안한다. 여기서 목표 함수의 색인은 반사 확산 또는 레비 과정과 같은 확률적 과정에 의해 결정된다. 학습률이 감소함에 따라 최소화자에 수렴하며, 실험적으로 일반화 성능이 향상됨을 보였다. 특히 물리학 기반 신경망과 함수형 회귀에서 두드러진 성능 향상을 보였다.

ABSTRACT

Optimization problems with continuous data appear in, e.g., robust machine learning, functional data analysis, and variational inference. Here, the target function is given as an integral over a family of (continuously) indexed target functions - integrated with respect to a probability measure. Such problems can often be solved by stochastic optimization methods: performing optimization steps with respect to the indexed target function with randomly switched indices. In this work, we study a continuous-time variant of the stochastic gradient descent algorithm for optimization problems with continuous data. This so-called stochastic gradient process consists in a gradient flow minimizing an indexed target function that is coupled with a continuous-time index process determining the index. Index processes are, e.g., reflected diffusions, pure jump processes, or other Lévy processes on compact spaces. Thus, we study multiple sampling patterns for the continuous data space and allow for data simulated or streamed at runtime of the algorithm. We analyze the approximation properties of the stochastic gradient process and study its longtime behavior and ergodicity under constant and decreasing learning rates. We end with illustrating the applicability of the stochastic gradient process in a polynomial regression problem with noisy functional data, as well as in a physics-informed neural network.

연구 동기 및 목표

• 기존의 이산 확률적 경사하강법(SGD)이 불가능하거나 최적화되지 않는 연속 데이터 공간에서 기대값 목표를 최적화하는 데 도전한다.
• 색인 선택을 확률적 과정으로 모델링하는 연속시간 프레임워크를 개발하여 실시간 또는 스트리밍 데이터 통합을 가능하게 한다.
• 일정 학습률과 감소하는 학습률 조건 하에서의 확률적 경사하강법의 에르고딕성 및 수렴 성질을 분석한다.
• 다항 회귀와 물리학 기반 신경망(PINNs)과 같은 실용적 응용 분야에서의 방법의 효과성을 입증한다.

제안 방법

• 폴란드 공간 S 위에서 인덱싱된 함수의 집합에 대한 적분을 최소화하는 최적화 문제로 공식화하며, 전체 목표 함수는 π 확률 측도에 대한 기댓값으로 정의된다.
• 색인 y가 컴act 색인 공간 S 위에서 마코프 과정(예: 반사 확산, 순수 점프, 또는 레비 과정)으로 진동하는 연속시간 확률적 경사하강법(SGP)을 제안한다.
• SGP를 병렬 시스템으로 정의한다: 매개변수 공간 θ에서의 경사 하강 흐름과 (θ, y(t))에서 평가된 경사의 색인 과정 y의 확률적 진동.
• 수렴을 보장하는 조건을 만족하는 학습률 스케줄 μ(t) = 1/η(t)를 도입한다. 특히 감소하는 학습률에 대해 유리하다.
• 장기적 행동과 공동 과정 (θ(t), y(t))의 정적 상태를 분석하기 위해 포커-플랭크 방정식을 사용한다.
• 모의 실험에서는 수치적 SDE 해법기(예: 오일러-마루야마)를 사용하며, 적응형 학습률과 Adam 최적화기를 적용한다.

실험 결과

연구 질문

• RQ1 색인이 이산적이지 않고 연속적으로 분포하는 연속 데이터 공간에서 확률적 경사하강법을 어떻게 일반화할 수 있는가?
• RQ2 일정 학습률과 감소하는 학습률 조건 하에서 연속시간 확률적 경사하강법의 수렴성 및 에르고딕성 성질은 어떠한가?
• RQ3 다양한 샘플링 패턴(예: 반사 브라운 운동 대비 순수 점프 과정)은 암묵적 정규화와 일반화 성능에 어떤 영향을 미치는가?
• RQ4 SGP 프레임워크는 기능 데이터 분석 및 물리학 기반 신경망과 같은 연속 데이터 문제에 효과적으로 적용될 수 있는가?
• RQ5 고정 미니배치를 사용하는 표준 SGD와 비교해 동적이고 연속적인 샘플링은 최적화 안정성과 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 학습률이 0으로 감소할 때, 볼록성 및 적분 가능성 조건 하에서 확률적 경사하강법은 전체 목표 함수의 최소화자로 수렴한다.
• 일정 학습률 조건 하에서 SGP는 공동 상태 공간에서 정적 측도로 분포 수렴을 보이며, 에르고딕 행동을 나타낸다.
• 다항 회귀 실험에서 SGPC(반사 브라운 운동 사용)와 SGPD(감소하는 학습률 사용)는 각각 테스트 평균 제곱 오차 3.5×10⁻⁴ 및 2.8×10⁻⁴를 기록하여 표준 SGD(4.5×10⁻⁴)를 능가했다.
• SGPD는 적응형 학습률 스케줄 덕분에 학습 손실에서 SGD 및 SGPC보다 더 빠른 수렴을 보였다.
• PINN 실험에서 SGP 프레임워크는 표준 SGD보다 더 우수한 일반화 성능을 보였으며, 이는 동적 데이터 샘플링 패턴이 암묵적 정규화를 유도하기 때문으로 여겨진다.
• 색인 과정이 사전 샘플링이나 고정 배치 없이 실시간으로 생성될 수 있기 때문에, 스트리밍 또는 시뮬레이션 데이터에 대해 강건함을 입증했다.