[논문 리뷰] A Generic Quasi-Newton Algorithm for Faster Gradient-Based Optimization

Hongzhou Lin, Julien Mairal외 1명|arXiv (Cornell University)|2017. 04. 05.

Sparse and Compressive Sensing Techniques참고 문헌 39인용 수 7

한 줄 요약

이 논문은 QuickeNing을 소개한다. QuickeNing은 SVRG와 MISO와 같은 증분 제1차 방법에 제한된 메모리 BFGS 업데이트를 통합함으로써 기울기 기반 최적화를 가속화하는 일반적인 준뉴턴 알고리즘이다. 강凸 문제에 대해 선형 수렴를 달성하며, 고차원 대규모 머신러닝 작업에서 뚜렷한 속도 향상을 이끌어내며 복합 목적함수의 정확한 희소성도 유지한다.

ABSTRACT

We propose a generic approach to accelerate gradient-based optimization algorithms with quasi-Newton principles. The proposed scheme, called QuickeNing, can be applied to incremental first-order methods such as stochastic variance-reduced gradient (SVRG) or incremental surrogate optimization (MISO). It is also compatible with composite objectives, meaning that it has the ability to provide exactly sparse solutions when the objective involves a sparsity-inducing regularization. QuickeNing relies on limited-memory BFGS rules, making it appropriate for solving high-dimensional optimization problems. Besides, it enjoys a worst-case linear convergence rate for strongly convex problems. We present experimental results where QuickeNing gives significant improvements over competing methods for solving large-scale high-dimensional machine learning problems.

연구 동기 및 목표

• 준뉴턴 원리를 활용해 기울기 기반 최적화를 가속화하는 일반적인 프레임워크를 개발하는 것.
• SVRG와 MISO와 같은 증분 제1차 방법과의 호환성을 보장하는 것.
• 희소성 유도 정규화를 포함한 복합 목적함수를 지원하여 정확한 희소 해를 유지하는 것.
• 고차원 최적화 문제에서 효율성과 확장성을 유지하는 것.
• 강凸 문제에 대해 최악의 경우 선형 수렴 속도를 달성하는 것.

제안 방법

• 증분 제1차 최적화에서 헤시안을 근사하기 위해 제한된 메모리 BFGS 업데이트를 적용한다.
• SVRG와 MISO와 같은 증분 기반 방법에 준뉴턴 보정을 통합하여 수렴 속도를 가속화한다.
• 고차원 환경에 적합한 과거 업데이트 메모리의 활용을 통해 낮은 랭크의 헤시안 근사를 유지한다.
• 정규화 항의 구조와 준뉴턴 업데이트를 일치시킴으로써 복합 목적함수의 정확한 희소성을 유지한다.
• 기존의 제1차 최적화 프레임워크와의 호환성을 고려해 모듈러한 설계를 한다.
• 강凸성 가정 하에 최악의 경우 선형 수렴 속도를 보장한다.

실험 결과

연구 질문

• RQ1 준뉴턴 원리는 증분 제1차 최적화 방법을 가속화하기 위해 일반화될 수 있는가?
• RQ2 제한된 메모리 BFGS는 SVRG와 MISO와 같은 증분 기반 방법과 효과적으로 통합될 수 있는가?
• RQ3 정규화를 포함한 복합 목적함수에서 정확한 희소성을 유지할 수 있는가?
• RQ4 강凸 문제에 대해 이 방법은 어떤 수렴 보장을 제공하는가?
• RQ5 대규모 고차원 머신러닝 작업에서 이 방법은 어떻게 확장되고 성능을 발휘하는가?

주요 결과

• QuickeNing은 강凸 문제에 대해 최악의 경우 선형 수렴 속도를 달성하며, 제1차 방법의 이론적 최고 성능에 도달한다.
• 대규모 머신러닝 문제에서 기준선인 SVRG와 MISO보다 수렴 속도가 뚜렷이 향상된다.
• 목적함수에 희소성 유도 정규화 항이 포함된 경우 정확한 희소 해를 유지한다.
• 제한된 메모리 BFGS 구조 덕분에 고차원 문제로의 효율적 확장이 가능하다.
• 실험 결과 여러 대규모 학습 작업에서 일관되고 뚜렷한 성능 향상이 확인되었다.