[논문 리뷰] Accelerating Adaptive Cubic Regularization of Newton's Method via Random Sampling

Xi Chen, Bo Jiang외 2명|arXiv (Cornell University)|2018. 02. 15.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 비볼록 성분 함수를 가진 대규모 최적화 문제를 위한 가속화된 적응형 삼차 정규화 방법인 SACR를 제안한다. 헤시안을 균일하거나 비균일한 랜덤 샘플링으로 근사함으로써, SACR는 높은 확률로 전역 반복 복잡도 $\mathcal{O}(\epsilon^{-1/3})$를 달성하며, 이는 전체 헤시안을 사용하는 가속화 방법과 동일한 성능를 보이며, 실제 데이터셋에서도 강인성과 효율성을 유지한다.

ABSTRACT

In this paper, we consider an unconstrained optimization model where the objective is a sum of a large number of possibly nonconvex functions, though overall the objective is assumed to be smooth and convex. Our bid to solving such model uses the framework of cubic regularization of Newton's method. As well known, the crux in cubic regularization is its utilization of the Hessian information, which may be computationally expensive for large-scale problems. To tackle this, we resort to approximating the Hessian matrix via sub-sampling. In particular, we propose to compute an approximated Hessian matrix by either extit{uniformly}\/ or extit{non-uniformly}\/ sub-sampling the components of the objective. Based upon such sampling strategy, we develop accelerated adaptive cubic regularization approaches and provide theoretical guarantees on global iteration complexity of $O(ε^{-1/3})$ with high probability, which matches that of the original accelerated cubic regularization methods \cite{Jiang-2017-Unified} using the extit{full}\/ Hessian information. Interestingly, we show that in the worst case scenario our algorithm still achieves an $O\left(\log(ε^{-1})ε^{-5/6} ight)$ iteration complexity bound. The performances of the proposed methods on the regularized logistic regression problems show a clear effect of acceleration in terms of the epoch counts on several real data sets.

연구 동기 및 목표

• 대규모 문제에서 삼차 정규화 뉴턴 방법의 헤시안 계산 비용이 높다는 문제를 해결한다.
• 경사 및 헤시안의 리프시츠 상수에 대한 명시적 지식이 필요 없는 적응형, 파rameter-free 알고리즘을 개발한다.
• 전체 헤시안을 사용하는 방법과 비교해도 빠른 수렴 속도를 달성하면서도, 부분 샘플링된 헤시안 근사치를 사용한다.
• 샘플링 불확실성 하에서 랜덤 샘플링에 대한 이론적 보장을 확보하며, 악성 사례 상황에서도 보장한다.
• 대규모 데이터셋을 사용한 정규화된 로지스틱 회귀 문제에서 실용적 효율성을 입증한다.

제안 방법

• 유한합 목표함수의 성분 함수에 대한 균일하거나 비균일한 샘플링을 통해 부분 샘플링된 헤시안 근사치를 제안한다.
• 부분 샘플링된 헤시안을 적응형 삼차 정규화 프레임워크에 통합하여 수렴의 안정성과 가속도를 향상시킨다.
• 헤시안 계산 비용을 줄이면서도 전역 수렴 보장을 유지하기 위해 랜덤 샘플링 전략을 적용한다.
• 일반화된 공액 기울기 방법을 사용하여 하위문제를 효율적으로 해결함으로써 고차원 문제의 확장성을 확보한다.
• 지역 곡률과 샘플링 분산에 기반하여 적응형 스텝 사이즈 규칙을 설계하여 문제 파rameter에 대한 사전 지식이 필요 없도록 한다.
• 샘플링 불확실성 하에서 높은 확률로 복잡도 한계를 도출하기 위해 새로운 증명 기법을 활용한다.

실험 결과

연구 질문

• RQ1 전체 헤시안 계산 없이 부분 샘플링된 헤시안 근사치만으로도 적응형 삼차 정규화를 가속화할 수 있는가?
• RQ2 높은 확률적 샘플링 보장 하에서 이러한 부분 샘플링 가속화 방법의 전역 반복 복잡도는 무엇인가?
• RQ3 샘플링 품질이 열 劣한 악성 사례 상황에서 알고리즘이 어떻게 행동하는가?
• RQ4 계산 효율성을 확보하면서도 전체 헤시안 가속화 방법과 동일한 수렴 속도를 유지할 수 있는가?
• RQ5 대규모 머신러닝 문제에서 표준 스토하스틱 및 퀼리-뉴턴 방법보다 실용적으로 성능이 뛰어나게 되는가?

주요 결과

• SACR는 높은 확률로 전역 반복 복잡도 $\mathcal{O}(\epsilon^{-1/3})$를 달성하며, 이는 전체 헤시안 가속화 방법의 이론적 속도와 일치한다.
• 악성 사례 상황에서도 알고리즘은 여전히 반복 복잡도 $\mathcal{O}(\epsilon^{-5/6}\log(\epsilon^{-1}))$를 확보하여 강인성을 입증한다.
• 8개의 실제 데이터셋에 대한 실험 결과, SACR는 SGD, LBFGS, 미니배치 LBFGS, ACR보다 수렴 속도와 해의 정확도에서 뛰어난 성능을 보였다.
• 특히 고차원 환경에서 부분 샘플링 덕분에 결정론적 대응체인 ACR보다 더 효율적이다.
• 헤시안을 근사화하더라도 빠른 수렴을 유지하며, 공액 기울기 방법을 통해 하위문제 해결이 효율적으로 이루어진다.
• 제안된 증명 기법은 독립적으로도 관심을 끌 수 있으며, 랜덤화된 이阶 방법 분석에 유용할 수 있다.