[논문 리뷰] An Inexact Variable Metric Proximal Point Algorithm for Generic Quasi-Newton Acceleration

Hongzhou Lin, Julien Mairal외 1명|arXiv (Cornell University)|2016. 10. 04.

Sparse and Compressive Sensing Techniques참고 문헌 62인용 수 5

한 줄 요약

이 논문은 제약 조건이 없는 비정확한 변수 메트릭 프oks탈점 알고리즘인 QNing을 소개한다. QNing은 서브프로브럼을 L-BFGS로 풀고 Moreau 포장 스무딩을 사용함으로써, SVRG와 같은 일阶 최적화 방법을 가속화한다. 강력한 볼록 문제에 대해 선형 수렴를 달성하며, 복합 목적함수에서 희소성을 유지하면서 대규모 고차원 기계학습 작업에서 성능을 크게 향상시킨다.

ABSTRACT

We propose an inexact variable-metric proximal point algorithm to accelerate gradient-based optimization algorithms. The proposed scheme, called QNing can be notably applied to incremental first-order methods such as the stochastic variance-reduced gradient descent algorithm (SVRG) and other randomized incremental optimization algorithms. QNing is also compatible with composite objectives, meaning that it has the ability to provide exactly sparse solutions when the objective involves a sparsity-inducing regularization. When combined with limited-memory BFGS rules, QNing is particularly effective to solve high-dimensional optimization problems, while enjoying a worst-case linear convergence rate for strongly convex problems. We present experimental results where QNing gives significant improvements over competing methods for training machine learning methods on large samples and in high dimensions.

연구 동기 및 목표

• 일阶 최적화 방법을 위한 일반적인 가속 프레임워크를 개발하여, 준-뉴턴 업데이트를 통합하면서 수렴 보장을 유지하는 것.
• 비연속 정규화를 포함한 복합 목표함수를 가진 대규모 기계학습 문제에 대해 효율적이고 확장 가능한 최적화를 가능하게 하는 것.
• SVRG와 같은 인크리멘탈 일阶 최적화 방법과 L-BFGS 스타일 곡률 근사치를 조합하여 수렴 속도를 향상시키는 것.
• 복합 목표함수와의 호환성을 확보하여, ℓ₁-노름과 같은 희소성 유도 정규화를 사용할 경우 정확한 희소 해를 유지할 수 있도록 하는 것.
• 비정확한 서브프로브럼 해를 허용하는 상황에서도 선형 수렴 속도를 유지할 수 있는 수렴 프레임워크를 구축하는 것.

제안 방법

• QNing은 각 외부 반복에서 변수 메트릭을 사용하여 스무딩된 서브프로브럼을 푸는 비정확한 변수 메트릭 프oks탈점 프레임워크를 사용한다.
• 스무딩은 Moreau 포장에 의해 달성되며, 원래 함수의 미분 가능성과 관계없이 스무딩된 함수의 기울기가 리프시츠 연속성을 보장한다.
• 각 서브프로브럼은 고차원에서 효율적인 헤시안 근사치를 가능하게 하는 제한 메모리 BFGS(L-BFGS) 업데이트 규칙을 사용하여 풀린다.
• 알고리즘은 내부 서브프로브럼이 점차 감소하는 정확도 허용 오차 내에서 풀리는 반복 수열을 유지하며, 이는 전역 수렴을 보장한다.
• 비연속 항 ψ의 프록시멀 오퍼레이터는 각 단계에서 정확하게 계산되며, ψ가 희소성 유도 정규화일 경우 해의 희소성을 유지한다.
• 이 방법은 SVRG, SAGA, Finito 및 블록 좌표 강하와 같은 다양한 인크리멘탈 일阶 최적화 방법과 호환된다.

실험 결과

연구 질문

• RQ1 인크리멘탈 일阶 최적화 방법과 함께 작동하면서도 수렴 보장을 유지할 수 있는 일반적인 준-뉴턴 가속 기법을 설계할 수 있는가?
• RQ2 L-BFGS를 비정확한 프록시멀 점프 방법과 조합하면, 대규모 문제에서 표준 일阶 최적화 방법보다 더 빠른 수렴을 이룰 수 있는가?
• RQ3 제안된 방법이 비연속 정규화 항(예: ℓ₁-노름)을 포함한 목표함수에서 정확한 희소 해를 유지할 수 있는가?
• RQ4 스무딩 파라미터 κ의 선택이 실질적으로 알고리즘의 수렴성과 안정성에 어떤 영향을 미치는가?
• RQ5 서브프로브럼이 비정확하게 풀릴 경우에도 알고리즘의 최악의 경우 선형 수렴 속도를 달성할 수 있는가?

주요 결과

• 서브프로브럼이 충분한 정확도로 풀릴 경우, QNing은 강력한 볼록 문제에 대해 최악의 경우 선형 수렴 속도를 달성한다.
• 실험 결과 QNing은 대규모 데이터셋과 고차원 문제에서 기계학습 모델을 훈련할 때 경쟁 기법들을 크게 능가한다.
• 스무딩 파라미터 κ의 작은 값에 대해 QNing은 강인하며, κ₀ 이하로 감소할수록 성능이 향상된다.
• 정규화 항 ψ가 ℓ₁-노름일 경우 QNing은 정확한 희소 해를 유지하며, 이는 희소 학습 응용 분야에서의 사용을 가능하게 한다.
• QNing 내부에서 L-BFGS를 사용함으로써 고차원 문제에서 표준 SVRG 및 기타 인크리멘탈 일阶 최적화 방법 대비 상당한 속도 향상을 달성한다.
• 이론적 최악의 수렴 속도가 낙관적이지 않음에도 불구하고 QNing은 뛰어난 실용적 성능을 보이며, L-BFGS 유형 방법에서 이론과 실천 사이에 상당한 격차가 있음을 시사한다.