[논문 리뷰] Fast large-scale optimization by unifying stochastic gradient and quasi-Newton methods

Jascha Sohl‐Dickstein, Ben Poole외 1명|arXiv (Cornell University)|2013. 11. 09.

Stochastic Gradient Optimization Techniques참고 문헌 42인용 수 83

한 줄 요약

이 논문은 합구조 목적함수에서 각 하위함수에 대해 독립적인 헤시안 근사치를 유지함으로써 확률적 경사하강법(SGD)과 준뉴턴법을 통합하는 새로운 최적화 알고리즘인 Stochastic First-Order(SFO)을 제안한다. 이러한 근사치들은 저차원의 적응형 부분공간으로 투영되어, 최소한의 하이퍼파rameter 조정으로도 빠른 수렴을 달성하며, 딥 네트워크와 로지스틱 회귀를 포함한 다양한 머신러닝 과제에서 SGD와 헤시안을 고려하지 않는 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We present an algorithm for minimizing a sum of functions that combines the computational efficiency of stochastic gradient descent (SGD) with the second order curvature information leveraged by quasi-Newton methods. We unify these disparate approaches by maintaining an independent Hessian approximation for each contributing function in the sum. We maintain computational tractability and limit memory requirements even for high dimensional optimization problems by storing and manipulating these quadratic approximations in a shared, time evolving, low dimensional subspace. Each update step requires only a single contributing function or minibatch evaluation (as in SGD), and each step is scaled using an approximate inverse Hessian and little to no adjustment of hyperparameters is required (as is typical for quasi-Newton methods). This algorithm contrasts with earlier stochastic second order techniques that treat the Hessian of each contributing function as a noisy approximation to the full Hessian, rather than as a target for direct estimation. We experimentally demonstrate improved convergence on seven diverse optimization problems. The algorithm is released as open source Python and MATLAB packages.

연구 동기 및 목표

• 대규모 최적화 문제에서 전체 준뉴턴법의 계산 비효율성을 해결하기 위해, 확률적 경사하강법의 효율성과 이차형태 곡률 정보를 조합하는 것.
• 기존의 확률적 이차형태 방법들이 하위함수의 헤시안을 전체 헤시안의 노이즈 있는 근사치로 간주하는 데서 비롯되는 한계를 극복하여, 하위함수의 헤시안을 직접 추정의 대상으로 간주하는 것.
• 준뉴턴법에서 흔히 발생하는 하이퍼파rameter 민감도를 줄이면서도, 적응형 헤시안 근사치를 통해 빠른 수렴을 유지하는 것.
• 시간에 따라 변화하는 저차원 부분공간으로 헤시안 근사치를 투영하여 고차원 환경에서의 확장성 있고 메모리 효율적인 최적화를 가능하게 하는 것.

제안 방법

• 알고리즘은 각 하위함수 $ f_i( extbf{x}) $ 에 대해 별개의 이차근사 $ g_i^t(\textbf{x}) $ 를 유지하며, 기울기 역사에 기반해 BFGS 업데이트를 사용하여 이러한 근사치를 개선한다.
• 최적화는 두 번의 번갈아가는 단계로 진행된다: (1) 현재 근사치의 합 $ G^{t-1}(\textbf{x}) = \sum_i g_i^{t-1}(\textbf{x}) $ 를 최소화하고, (2) 새로운 파라미터 값 $ \textbf{x}^t $ 주변의 이차형태 전개를 사용해 하나의 $ g_i^t(\textbf{x}) $ 를 업데이트한다.
• 모든 헤시안 근사치는 기울기와 파라미터 업데이트의 역사를 기반으로 하는 공통의 저차원 부분공간에 저장되고 다루어져, 계산 및 메모리 처리 가능성을 보장한다.
• 알고리즘은 단일 하위함수 평가만을 단계당 사용함으로써 SGD와 유사한 효율성을 확보하면서도, 준뉴턴법처럼 근사 역헤시안 정보를 사용해 스텝 크기를 스케일링함으로써 수동 하이퍼파rameter 조정의 필요성을 줄인다.
• 부분공간은 시간에 따라 적응적으로 업데이트되어 전체 헤시안 계산 없이도 주요 곡률 방향을 포착한다.
• 알고리즘은 자연스럽게 병렬화 가능하도록 설계되어, 개별 하위함수 근사치의 비동기 업데이트를 허용하며, 온라인/무한 데이터 환경에서도 지원한다.

실험 결과

연구 질문

• RQ1 전체 헤시안 계산의 계산 비용을 지불하지 않고도 확률적 최적화 방법이 효과적으로 이차형태 곡률 정보를 활용할 수 있는가?
• RQ2 공유된 저차원 부분공간에 각 하위함수의 독립적인 헤시안 근사치를 효율적으로 유지할 수 있는가, 이를 통해 확장 가능한 최적화를 가능하게 하는가?
• RQ3 준뉴턴법의 스텝 크기 적응성과 SGD의 계산 효율성을 조합하면 대규모 문제에서 더 빠른 수렴을 이끌 수 있는가?
• RQ4 이 방법은 SGD와 준뉴턴법에서 흔히 발생하는 수동 하이퍼파rameter 조정의 필요성을 줄이거나 제거할 수 있는가?

주요 결과

• SFO는 CURVES 데이터셋에서 훈련된 열두 층의 신경망에서 헤시안을 고려하지 않는 최적화보다 더 빠른 수렴을 달성했으며, 효과적인 데이터 통과 수가 약 10분의 1에 불과했다.
• 로지스틱 회귀, 이징 모델, 딥 네트워크를 포함한 일곱 가지 다양한 최적화 문제에서 SFO는 기준 방법 대비 일관되게 향상된 수렴 성능을 보였다.
• 알고리즘은 거의 또는 전혀 하이퍼파rameter 조정이 필요 없었으며, 데이터 자체의 곡률 정보를 활용해 스텝 크기와 방향을 적응적으로 조정했다.
• 저차원 부분공간의 사용 덕분에 고차원 문제에서도 메모리 및 계산 효율성을 유지하며 확장성을 확보했다.
• 이 방법은 오픈소스 파이썬 및 매트랩 패키지로 성공적으로 배포되어 머신러닝 응용 분야에서의 실용적 구현을 지원했다.
• 실험 결과에 따르면, SFO는 다양한 과제에서 표준 SGD와 준뉴턴법보다 수렴 속도와 강인성 면에서 뛰어난 성능을 보였다.