[논문 리뷰] Stochastic quasi-Newton with adaptive step lengths for large-scale problems

Adrian Wills, Thomas B. Schön|arXiv (Cornell University)|2018. 02. 12.

Stochastic Gradient Optimization Techniques참고 문헌 37인용 수 4

한 줄 요약

이 논문은 대규모 최적화를 위한 적응형 스텝 길이를 갖춘 확률적 쿼아-뉴턴 방법을 제안하며, 보조 변수 구축과 후행 역사 기반 역헤시안 근사법을 통해 곡률 정보를 활용한다. 이는 수백만 개의 데이터 포인트와 미지수를 가진 실제 문제에서 강력하고 빠른 수렴을 달성하며, 효율적인 두 번째 차수 갱신과 확률적 선 탐색 적응을 통해 최신 기술을 능가한다.

ABSTRACT

We provide a numerically robust and fast method capable of exploiting the local geometry when solving large-scale stochastic optimisation problems. Our key innovation is an auxiliary variable construction coupled with an inverse Hessian approximation computed using a receding history of iterates and gradients. It is the Markov chain nature of the classic stochastic gradient algorithm that enables this development. The construction offers a mechanism for stochastic line search adapting the step length. We numerically evaluate and compare against current state-of-the-art with encouraging performance on real-world benchmark problems where the number of observations and unknowns is in the order of millions.

연구 동기 및 목표

• 수백만 개의 데이터 포인트와 미지수를 가진 대규모 확률적 비볼록 최적화 문제를 위한 수치적으로 안정적이고 빠른 최적화 방법을 개발하기.
• 제한된 이터레이트와 기울기의 이력 기반 역헤시안 근사를 통해 局부 곡률 정보를 활용하기.
• 마르코프 체인 프레임워크 내에서 확률적 선 탐색 메커니즘을 통해 적응형 스텝 길이 선택을 가능하게 하기.
• 미니배치 크기, 메모리 크기, 정규화 가중치의 세 가지 파rameter만 요구함으로써 사용자 조정을 최소화하기.
• 역헤시안 근사 갱신 시 콜레스키 업데이트 전략을 사용하여 계산 효율성과 수치적 안정성을 확보하기.

제안 방법

• 확률적 최적화에서 곡률 인식 갱신을 가능하게 하기 위해 확장된 마르코프 체인을 구성하기 위한 보조 변수 기법을 도입한다.
• 과거 이터레이트와 확률적 기울기의 이동 윈도우를 사용하여 역헤시안 근사를 계산함으로써 저비용 메모리 및 계산 비용을 확보한다.
• 곡률과 진전에 기반해 동적으로 스텝 길이를 조정하는 확률적 선 탐색을 적용하여 초기 단계의 수렴을 향상시킨다.
• 역헤시안 근사 갱신 시 수치적 안정성과 계산 효율성을 유지하기 위해 콜레스키 인자 업데이트를 사용한다.
• 쿼아-뉴턴 갱신 규칙 $ x_{k+1} = x_k - \alpha_k H_k g_k $ 를 적용하며, 여기서 $ H_k $ 는 곡률 적응형 스케일링 행렬이고 $ \alpha_k $ 는 적응형 스텝 길이다.
• 확률적 기울기 방법의 마르코프 체인 성격을 활용하여 안정적이고 곡률 인식 최적화 경로의 구축을 가능하게 한다.

실험 결과

연구 질문

• RQ1 과거 이터레이트와 기울기의 후행 역사로부터 추출한 곡률 정보가 대규모 확률적 최적화에서 수렴을 향상시키는 데 효과적으로 활용될 수 있는가?
• RQ2 특히 초기 반복 단계에서 성능을 향상시키기 위해 적응형 스텝 길이를 확률적 쿼아-뉴턴 방법에 통합할 수 있는가?
• RQ3 노이즈가 있는 기울기 평가가 있는 고차원 환경에서도 수치적으로 안정적이고 계산 효율적인 역헤시안 근사를 유지할 수 있는가?
• RQ4 제안된 방법이 실제 대규모 문제에서 기존 최신 기술의 확률적 최적화 알고리즘을 능가하는가?
• RQ5 보조 변수 구축 방식이 확률적 비볼록 최적화 프레임워크에서 두 번째 차수 정보를 효과적으로 활용할 수 있도록 하는가?

주요 결과

• 제안된 방법은 수백만 개의 데이터 포인트와 미지수를 가진 실제 벤치마크 문제에서 기존의 기본 확률적 기울기 방법과 Adam보다 수렴 속도와 정확도 면에서 뛰어난 성능을 달성한다.
• 적응형 스텝 길이 메커니즘이 초기 단계 수렴을 크게 향상시켜, 기존의 기본 확률적 기울기 방법에서 흔히 발생하는 비용 함수 증가 현상을 줄인다.
• 제한된 이터레이트와 기울기의 이력 기반으로 계산된 역헤시안 근사는 데이터 크기와 선형적으로 확장되며, 콜레스키 업데이트를 통해 수치적 안정성을 유지한다.
• 이 방법은 사용자 조정 가능한 파rameter가 단지 세 가지—미니배치 크기, 메모리 크기, 정규화 가중치—뿐이므로 조정 복잡도가 낮다.
• 수치 실험 결과, 이 방법은 강건하고 효율적이며, 500개의 입자를 사용한 우도 추정 조건에서도 시뮬레이션 당 최대 8초 이내로 실행되며 표준 랩탑에서도 문제없이 수행된다.
• 특히 $ \rho = 0 $ 인 극한에서 스텝 길이가 감소하는 조건에서는 방법이 확률적 기울기 방법으로 수렴하지만, 적응 조절 덕분에 초기 행동이 향상된다.