[논문 리뷰] Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization

James Vuckovic|arXiv (Cornell University)|2018. 10. 29.

Stochastic Gradient Optimization Techniques참고 문헌 17인용 수 11

한 줄 요약

이 논문은 스토하스틱 그래디언트 디센트에서 그래디언트 분산을 적응적으로 감소시키기 위해 칼만 필터링을 사용하는 스토하스틱 최적화 알고리즘인 칼만 그래디언트 디센트(KGD)를 소개한다. 그래디언트 추정치를 선형 동적 시스템으로 모델링하고 최적의 선형 필터링을 적용함으로써, KGD는 비볼록 설정에서 향상된 수렴성을 달성하며, 신경망과 변분 추론 전반에서 뛰어난 성능을 보이며, 모멘타임 및 RMSProp로의 확장과 함께 확장 가능한 분산 버전을 제공한다.

ABSTRACT

We introduce Kalman Gradient Descent, a stochastic optimization algorithm that uses Kalman filtering to adaptively reduce gradient variance in stochastic gradient descent by filtering the gradient estimates. We present both a theoretical analysis of convergence in a non-convex setting and experimental results which demonstrate improved performance on a variety of machine learning areas including neural networks and black box variational inference. We also present a distributed version of our algorithm that enables large-dimensional optimization, and we extend our algorithm to SGD with momentum and RMSProp.

연구 동기 및 목표

• 스토하스틱 최적화에서 높은 그래디언트 분산이 발생하는 문제를 다루어, 딥러닝에서 수렴성과 성능을 떨어뜨리는 원인를 해결한다.
• 특정 기계학습 응용 분야에 종속되지 않은 일반적인 목적의 적응형 분산 감소 프레임워크를 개발한다.
• 칼만 필터링 접근법을 SGD의 모멘타임 및 RMSProp과 같은 현대 최적화 알고리즘으로 확장한다.
• 상태공간을 분할하고 노드 간에 병렬로 필터링을 적용하여 분산된 변형을 통해 대규모 최적화를 가능하게 한다.
• 편향이 없는 그래디언트 추정치 하에 비볼록 설정에서 이론적 수렴 보장을 제공한다.

제안 방법

• 스토하스틱 그래디언트 디센트 업데이트를 상태 벡터 [x_t; g_t]를 가지는 이산 시간 선형 시간변동(LTV) 시스템으로 모델링하며, 여기서 g_t는 진짜 그래디언트의 은닉 추정치이다.
• 노이즈가 있는 측정값 g(x_t; ξ_t)를 사용하여 진짜 그래디언트와 필터링된 추정치 간의 평균 제곱오차를 최소화함으로써 칼만 필터를 적용하여 진짜 그래디언트를 추정한다.
• 시간에 따라 변하는 시스템 행렬 A_t와 측정 행렬 C_t에 대해 칼만 필터 업데이트 방정식을 유도하며, 공정 노이즈와 측정 노이즈는 평균이 0인 가우시안으로 모델링한다.
• 업데이트 규칙에서 스토하스틱 그래디언트 대신 필터링된 그래디언트 추정치를 사용한다: x_{t+1} = x_t - α_t * (filtered g_t).
• 모멘타임 및 적응형 학습률 업데이트 역학에 칼만 필터를 통합함으로써 KGD 프레임워크를 SGD에 모멘타임 및 RMSProp으로 확장한다.
• 상태공간을 분할하고 노드 간에 병렬로 필터링을 적용함으로써 고차원 최적화를 가능하게 하는 KGD의 분산 변형을 제안한다.

실험 결과

연구 질문

• RQ1 문제에 특화된 가정에 의존하지 않고도 칼만 필터링을 사용해 스토하스틱 최적화에서 그래디언트 분산을 줄일 수 있는가?
• RQ2 편향이 없는 그래디언트 추정치 하에 비볼록 최적화 문제에서 칼만 그래디언트 디센트 알고리즘이 정적점으로 수렴하는가?
• RQ3 다양한 기계학습 작업에서 KGD는 표준 SGD 및 기타 분산 감소 기법과 비교해 수렴 속도와 최종 손실 측면에서 어떻게 성능을 내는가?
• RQ4 칼만 필터링 프레임워크는 모멘타임 및 적응형 학습률을 갖는 최적화 알고리즘으로 효과적으로 확장될 수 있는가?
• RQ5 KGD는 고차원 설정에서의 확장성은 어떻게 되며, 분산 변형은 중심집중 구현과 비교해 어떻게 성능을 내는가?

주요 결과

• 표준 가정 하에 이론적 분석을 통해 그래디언트 노름의 기대값이 0으로 수렴함을 증명하였으며, 이는 비볼록 설정에서 정적점으로의 수렴을 의미한다.
• 전방 신경망과 컨볼루션 신경망에서 표준 SGD 및 기타 분산 감소 기준선 대비 KGD가 더 빠른 수렴과 낮은 최종 손실을 달성한다.
• 블랙박스 변분 추론에서 KGD는 ELBO 수렴성과 안정성 측면에서 기준선 방법을 능가한다.
• KGD의 분산 버전은 대규모 최적화 작업에서 성능을 유지하며, 워커 수에 따라 효과적으로 확장된다.
• 모멘타임 및 RMSProp로의 확장 결과, KGD는 기존의 적응형 최적화 프레임워크에 원활하게 통합되며 일관된 성능 향상을 보인다.
• 실험 결과 KGD가 기준선 방법보다 그래디언트 노이즈를 더 효과적으로 감소시켜 더 안정적이고 효율적인 학습을 가능하게 한다.