[논문 리뷰] Laplacian Smoothing Gradient Descent

Stanley Osher, Bao Wang외 5명|arXiv (Cornell University)|2018. 06. 17.

Stochastic Gradient Optimization Techniques참고 문헌 44인용 수 29

한 줄 요약

이 논문은 표준 경사하강법 및 확률적 경사하강법(SGD)에 대한 단순하면서도 효과적인 수정인 라플라시안 스무딩 경사하강법(LSGD)을 소개한다. 일변도 이산 라플라시안에서 유도된 순환행렬의 역행렬을 기울기와 곱하여 LSGD는 기울기 분산을 줄이고, 더 큰 스텝 크기를 허용하며, 일반화 성능을 향상시키고 수렴성을 향상시킨다. 특히 조건이 나쁜 문제에 대해서도 유의미한 성능 향상을 보이며, 전역 최소값을 유지하면서 손실 함수의 곡률을 더 볼록하게 만든다.

ABSTRACT

We propose a class of very simple modifications of gradient descent and stochastic gradient descent. We show that when applied to a large variety of machine learning problems, ranging from logistic regression to deep neural nets, the proposed surrogates can dramatically reduce the variance, allow to take a larger step size, and improve the generalization accuracy. The methods only involve multiplying the usual (stochastic) gradient by the inverse of a positive definitive matrix (which can be computed efficiently by FFT) with a low condition number coming from a one-dimensional discrete Laplacian or its high order generalizations. It also preserves the mean and increases the smallest component and decreases the largest component. The theory of Hamilton-Jacobi partial differential equations demonstrates that the implicit version of the new algorithm is almost the same as doing gradient descent on a new function which (i) has the same global minima as the original function and (ii) is ``more convex". Moreover, we show that optimization algorithms with these surrogates converge uniformly in the discrete Sobolev $H_σ^p$ sense and reduce the optimality gap for convex optimization problems. The code is available at: \url{https://github.com/BaoWangMath/LaplacianSmoothing-GradientDescent}

연구 동기 및 목표

• 초기 훈련 에포크 이후의 느린 수렴성과 높은 기울기 분산 문제를 해결한다.
• SGD에서 감소하는 학습률의 한계를 극복하기 위해 더 큰, 일정한 스텝 크기를 허용한다.
• 딥 러닝 및 로지스틱 회귀 모델에서 일반화 성능 향상과 최적성 갭 감소를 도모한다.
• 헤시안 행렬의 조건수(Condition Number)가 높은 조건이 나쁜 문제에서 기울기 하강법의 열악한 성능을 완화한다.
• 전역 최소값을 유지하면서도 손실 함수의 곡률을 더 볼록하게 만드는 서브스티튜션 최적화 곡면을 제공하는 방법을 개발한다.

제안 방법

• 순환행렬 Aσ를 사용하여 실시간으로 일변도 이산 라플라시안 스무딩(LS) 연산자를 스무딩된 기울기 벡터에 적용한다. 여기서 Aσ = I − σL이며, L은 이산 라플라시안이다.
• Aσ⁻¹의 역행렬을 FFT를 통해 효율적으로 계산하여 기울기를 스무딩한다.
• Aσ⁻¹가 알려진 푸리에 도메인 표현을 가지므로, 이산 푸리에 변환을 이용해 빠른 계산이 가능하다는 사실을 활용한다.
• 알고리즘을 수정된 기울기 갱신 형식으로 기술한다: θ_{k+1} = θ_k − α Aσ⁻¹ ∇f(θ_k; S_k), 여기서 S_k는 미니배치이다.
• 더 나은 스무딩 성질을 확보하기 위해 라플라시안 스무딩을 고차원 스무딩 연산자(예: 이차 라플라시안 스무딩)로 일반화한다.
• 이 방법의 암묵적 형태는 해밀턴-자코비 PDE와 연결되며, 이는 최적화가 동일한 전역 최소값을 가지는 더 볼록한 서브스티튜션 함수 위에서 이루어지고 있음을 보여준다.

실험 결과

연구 질문

• RQ1 최소한의 계산 오버헤드로 실시간으로 SGD의 기울기 분산을 줄일 수 있는가?
• RQ2 수렴성이나 일반화 성능에 영향을 주지 않으면서 SGD에서 더 큰 스텝 크기를 안전하게 사용할 수 있는가?
• RQ3 라플라시안 연산자를 통한 기울기 스무딩이 조건이 나쁜 또는 비볼록 문제에서 최적화 성능을 향상시키는가?
• RQ4 이 방법은 전역 최소값을 유지하면서도 손실 곡면을 더 볼록하게 만들 수 있는가?
• RQ5 수렴 속도와 일반화 정확도 측면에서 기존의 SGD 및 모멘텀 기반 방법과 비교해 볼 때, 제안된 방법은 어떤가?

주요 결과

• LSGD는 실시간으로 스무딩된 기울기의 분산을 줄여, 일정한 스텝 크기를 사용할 때 최적성 갭을 크게 감소시킨다.
• 이 방법은 표준 SGD보다 더 큰 스텝 크기를 허용하여, 특히 훈련의 후반 단계에서 수렴 속도를 향상시킨다.
• 로지스틱 회귀 및 딥 네트워크를 포함한 다양한 모델에서 일반화 정확도를 향상시킨다.
• 이론적으로, LSGD는 이산 소볼레프 Hσp 공간에서 균일 수렴성을 보이며, 볼록 최적화 문제에 대해 이론적 보장을 제공한다.
• 실험적으로 LSGD는 날카로운 국소 최소값을 피하고 급격한 방향에서의 진동을 줄여 더 안정적인 훈련 동역학을 이룬다.
• 이론적 분석 결과, LSGD의 암묵적 형태는 동일한 전역 최소값을 가지는 더 볼록한 함수 위에서 기울기 하강법을 수행하는 것과 동치임을 밝혀냈다.