[논문 리뷰] QuickeNing: A Generic Quasi-Newton Algorithm for Faster Gradient-Based Optimization

Hongzhou Lin, Julien Mairal외 1명|arXiv (Cornell University)|2016. 10. 04.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 3

한 줄 요약

QuickeNing은 제한된 메모리 BFGS 업데이트를 통해 곡률 정보를 통합함으로써 일阶 방법의 수렴 속도를 높이는 일반적인 준뉴턴 최적화 알고리즘으로, 선형 검색을 필요로 하지 않으며, 대규모 고차원 기계학습 문제에서 더 빠른 수렴을 가능하게 한다. 강凸 문제에 대해 선형 수렴을 보장하며, 복합 목적함수에서 희소 해를 지원한다.

ABSTRACT

We propose an approach to accelerate gradient-based optimization algorithms by giving them the ability to exploit curvature information using quasi-Newton update rules. The proposed scheme, called QuickeNing, is generic and can be applied to a large class of first-order methods such as incremental and block-coordinate algorithms; it is also compatible with composite objectives, meaning that it has the ability to provide exactly sparse solutions when the objective involves a sparsity-inducing regularization. QuickeNing relies on limited-memory BFGS rules, making it appropriate for solving high-dimensional optimization problems; with no line-search, it is also simple to use and to implement. Besides, it enjoys a worst-case linear convergence rate for strongly convex problems. We present experimental results where QuickeNing gives significant improvements over competing methods for solving large-scale high-dimensional machine learning problems.

연구 동기 및 목표

• 곡률 정보를 활용하여 일阶 방법의 수렴 속도를 높이는 일반적인 최적화 프레임워크를 개발하는 것.
• 증분 및 블록좌표 최적화 방식에 준뉴턴 업데이트를 적용할 수 있도록 하는 것.
• 희소성 유도 정규화를 포함한 복합 목적함수를 지원하여 정확한 희소 해를 보장하는 것.
• 선형 검색 없이 제한된 메모리 BFGS를 통해 고차원 환경에서의 확장성과 단순성을 확보하는 것.
• 강凸 문제에 대해 최악의 경우 선형 수렴 속도를 확립하는 것.

제안 방법

• 과거 기울기 정보를 사용하여 헤시안 행렬을 근사하기 위해 제한된 메모리 BFGS 업데이트 규칙을 적용한다.
• 증분 및 블록좌표 강하 방법과 같은 일阶 알고리즘에 곡률 업데이트를 통합한다.
• 곡률 근사 기반의 고정된 적응형 스텝 사이즈 전략을 사용함으로써 선형 검색을 회피한다.
• 복합 목적함수에서 정규화 항의 구조를 유지함으로써 해의 희소성을 유지한다.
• 기존 일阶 솔버와의 후행 호환성과 높은 모듈성 구현을 위해 업데이트 메커니즘을 설계한다.
• 수렴 분석을 통해 강凸 조건 하에서 최악의 경우 선형 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 선형 검색 없이도 준뉴턴 업데이트가 일阶 최적화 방법에 효과적으로 통합될 수 있는가?
• RQ2 정규화가 존재할 경우 제안된 방법이 해의 희소성을 유지하는가?
• RQ3 대규모 고차원 문제에서 표준 일阶 방법보다 더 빠른 수렴을 달성할 수 있는가?
• RQ4 강凸 문제에 대해 이론적으로 증명된 선형 수렴 속도를 확보할 수 있는가?
• RQ5 다양한 기계학습 작업과 차원에서 성능이 어떻게 확장되는가?

주요 결과

• QuickeNing은 대규모 기계학습 문제를 해결하는 데 있어 경쟁 기반의 일阶 방법보다 뚜렷한 속도 향상을 달성한다.
• 강凸 문제에 대해 선형 수렴을 보이며, 이론적 보장을 충족한다.
• 목적함수에 희소성 유도 정규화 항이 포함될 경우 정확한 희소 해를 생성한다.
• 제한된 메모리 BFGS 구조 덕분에 고차원 환경에서 효과적이다.
• 선형 검색이 없어 구현이 단순해지고 계산 효율성이 향상된다.
• 실험 결과 QuickeNing이 수렴 속도와 확장성 면에서 베이스라인 방법을 능가함을 확인한다.