[논문 리뷰] An adaptive low dimensional quasi-Newton sum of functions optimizer.

Jascha Sohl‐Dickstein, Ben Poole외 1명|arXiv (Cornell University)|2013. 11. 09.

Stochastic Gradient Optimization Techniques참고 문헌 24인용 수 5

한 줄 요약

이 논문은 고차원 공간에서 함수의 합을 최소화하기 위해, 공유되는 시간에 따라 변화하는 저차원 부분공간에 각 함수에 대한 헤시안 근사값을 독립적으로 유지하는 적응형 저차원 쿼asi-뉴턴 최적화 방법을 제안한다. 확률적 경사하강법의 효율성과 쿼اسي-뉴턴 곡률 활용을 결합함으로써, 최소한의 하이퍼파rameter 조정으로 다양한 문제에서 더 빠른 수렴을 달성한다.

ABSTRACT

We present an algorithm for minimizing a sum of functions that combines the computational efficiency of stochastic gradient descent (SGD) with the second order curvature information leveraged by quasi-Newton methods. We unify these disparate approaches by maintaining an independent Hessian approximation for each contributing function in the sum. We maintain computational tractability and limit memory requirements even for high dimensional optimization problems by storing and manipulating these quadratic approximations in a shared, time evolving, low dimensional subspace. Each update step requires only a single contributing function or minibatch evaluation (as in SGD), and each step is scaled using an approximate inverse Hessian and little to no adjustment of hyperparameters is required (as is typical for quasi-Newton methods). This algorithm contrasts with earlier stochastic second order techniques that treat the Hessian of each contributing function as a noisy approximation to the full Hessian, rather than as a target for direct estimation. We experimentally demonstrate improved convergence on seven diverse optimization problems. The algorithm is released as open source Python and MATLAB packages.

연구 동기 및 목표

• 표준 확률적 이阶의 방법이 계산적으로 비효율적인 고차원 공간에서 함수의 합을 효율적으로 최소화하는 데 도전하는 것.
• 기존의 확률적 쿼اسي-뉴턴 방법이 개별 함수의 헤시안을 전체 헤시안의 노이즈 있는 근사로 간주하는 한계를 극복하는 것.
• 헤시안 근사값을 공유되는 시간에 따라 변화하는 저차원 부분공간에 투영하여 고차원 최적화에서 계산 가능성과 낮은 메모리 사용을 유지하는 것.
• 개별 함수의 헤시안 근사값을 직접 추정하고 활용함으로써 적응형이고 하이퍼파rameter가 최소화된 업데이트를 가능하게 하는 것.
• 기존의 표준 SGD 및 쿼اسي-뉴턴 방법과 비교해 다양한 최적화 문제에서 수렴 속도와 강건성을 향상시키는 것.

제안 방법

• 알고리즘은 합의 각 함수에 대해 별도의 헤시안 근사값을 유지하며, 각 함수를 노이즈 있는 대체물이 아닌 직접 추정의 대상으로 간주한다.
• 모든 헤시안 근사값은 시간에 따라 변화하는 공유된 저차원 부분공간에 투영된다.
• 각 최적화 단계는 단일 함수 또는 미니배치 평가만을 사용하므로 확률적 경사하강법의 계산 효율성을 유지한다.
• 업데이트 방향은 저차원 부분공간에서 계산된 근사 역헤시안을 사용하여 스케일링되며, 전체 헤시안 계산 없이도 이阶의 이점을 얻을 수 있다.
• 알고리즘은 반복 과정에서 부분공간과 헤시안 근사값을 동적으로 적응시켜 정확성과 효율성을 유지한다.
• 헤시안 근사값과 부분공간의 진화가 적응형이므로 하이퍼파rameter 조정을 최소화한다.

실험 결과

연구 질문

• RQ1 개별 함수의 헤시안을 노이즈 있는 근사로 간주하는 대신 직접 추정함으로써, 기존의 확률적 쿼اسي-뉴턴 방법이 SGD보다 더 빠른 수렴을 달성할 수 있는가?

주요 결과

• 제안된 최적화 방법은 일곱 가지 다양한 최적화 문제에서 표준 SGD보다 더 빠른 수렴을 달성하여 샘플 효율성이 향상됨을 입증하였다.
• 헤시안 근사값을 공유되는 저차원 부분공간에 제한함으로써 고차원 환경에서도 낮은 메모리 및 계산 비용을 유지한다.
• 알고리즘은 거의 또는 전혀 하이퍼파rameter 조정이 필요하지 않아 기존의 쿼اسي-뉴턴 방법에 비해 사용자 부담을 줄였다.
• 각 함수의 헤시안을 직접 추정의 대상으로 간주함으로써 기존의 확률적 이阶 접근법에서 흔히 발생하는 노이즈 누적 문제를 피할 수 있었다.
• 실험 결과는 비볼록성과 불량조건 문제에서 기존 기준 방법 대비 일관된 성능 향상을 보였다.
• 파이썬 및 매트랩에서의 오픈소스 배포로 재현 가능성과 기계학습 및 최적화 연구 분야에서의 광범위한 채택이 가능해졌다.