[논문 리뷰] On Adaptive Cubic Regularized Newton's Methods for Convex Optimization via Random Sampling

Xi Chen, Bo Jiang외 2명|arXiv (Cornell University)|2018. 02. 15.

Sparse and Compressive Sensing Techniques인용 수 7

한 줄 요약

이 논문은 합성곱 구조의 목적 함수에서 헤시안을 균일 또는 비균일 샘플링을 통해 근사화함으로써 대규모 볼록 최적화를 위한 적응형 입방 정규화 뉴턴 방법을 제안한다. 표준 버전은 $O(\epsilon^{-1/2})$의 전역 반복 복잡도를 달성하고, 가속 버전은 $O(\epsilon^{-1/3})$의 복잡도를 확보하며, 이는 전체 헤시안 방법과 동일한 복잡도를 가지며, 로지스틱 회귀 문제에서 실질적인 가속 효과를 보여준다.

ABSTRACT

In this paper, we consider an unconstrained optimization model where the objective is a sum of a large number of possibly nonconvex functions, though overall the objective is assumed to be smooth and convex. Our bid to solving such model uses the framework of cubic regularization of Newton's method.As well known, the crux in cubic regularization is its utilization of the Hessian information, which may be computationally expensive for large-scale problems. To tackle this, we resort to approximating the Hessian matrix via sub-sampling. In particular, we propose to compute an approximated Hessian matrix by either uniformly or non-uniformly sub-sampling the components of the objective. Based upon sub-sampling, we develop both standard and accelerated adaptive cubic regularization approaches and provide theoretical guarantees on global iteration complexity. We show that the standard and accelerated sub-sampled cubic regularization methods achieve iteration complexity in the order of $O(\epsilon^{-1/2})$ and $O(\epsilon^{-1/3})$ respectively, which match those of the original standard and accelerated cubic regularization methods \cite{Cartis-2012-Evaluation, Jiang-2017-Unified} using the full Hessian information. The performances of the proposed methods on regularized logistic regression problems show a clear effect of acceleration in terms of epochs on several real data sets.

연구 동기 및 목표

• 대규모 문제에서 헤시안 행렬 계산의 높은 계산 비용을 해결하기 위해.
• 목적 함수 성분의 하위샘플링을 이용한 효율적인 헤시안 근사 기법을 개발하기 위해.
• 이론적 수렴 보장을 유지하면서 표준 및 가속 버전의 적응형 입방 정규화 방법을 설계하기 위해.
• 전체 헤시안 방법과 유사한 반복 복잡도를 확보하면서도 계산 오버헤드를 줄이기 위해.
• 실제 정규화된 로지스틱 회귀 문제에서 제안된 방법의 효과성과 가속 성능를 경험적으로 검증하기 위해.

제안 방법

• 합성곱 구조의 목적 함수에서 성분을 균일 또는 비균일하게 하위샘플링하여 헤시안 행렬을 근사한다.
• 각 반복에서 목적 함수의 충분한 감소를 보장하기 위해 적응형 입방 정규화 프레임워크를 활용한다.
• 하위샘플링된 입방 정규화 방법의 표준 및 가속 버전을 도입한다.
• 하위샘플링된 헤시안 근사에서 유도된 국소 곡률 추정치를 기반으로 적응형 스텝 사이즈를 선택한다.
• glat smoothness 및 볼록성 가정 하에 전역 반복 복잡도 상한을 이론적으로 유도한다.
• 헤시안 계산 비용을 줄이면서도 수렴 속도를 유지하기 위해 랜덤 샘플링 기법을 활용한다.

실험 결과

연구 질문

• RQ1 헤시안 성분의 하위샘플링이 볼록 최적화에서 전체 헤시안 입방 정규화 방법의 수렴 복잡도를 유지할 수 있는가?
• RQ2 수렴 속도와 안정성 측면에서 비균일 샘플링이 균일 샘플링보다 어떻게 다른가?
• RQ3 하위샘플링된 입방 정규화의 가속 버전이 전체 헤시안 대비 동일한 반복 복잡도를 달성할 수 있는가?
• RQ4 실제 머신러닝 문제에서 에포크 수와 수렴 속도 측면에서 경험적으로 어떤 성능 향상이 있는가?
• RQ5 헤시안 성분의 일부만을 사용할 경우에도 적응형 입방 정규화 프레임워크가 강건한가?

주요 결과

• 표준 하위샘플링된 입방 정규화 방법은 $O(\epsilon^{-1/2})$의 반복 복잡도를 확보하며, 이는 전체 헤시안 방법과 동일하다.
• 가속 하위샘플링된 입방 정규화 방법은 $O(\epsilon^{-1/3})$의 반복 복잡도를 확보하며, 이는 전체 헤시안 가속 버전과 동일하다.
• 정규화된 로지스틱 회귀 문제에 대한 경험적 결과에서, 비가속 대비 명확한 에포크 수 감소와 수렴 속도 향상을 보였다.
• 실제로 비균일 샘플링이 균일 샘플링보다 수렴 효율성을 향상시켰다.
• 헤시안 성분의 일부만을 사용함에도 불구하고 제안된 방법은 이론적 수렴 보장을 유지한다.
• 균일 및 비균일 샘플링 전략 모두에서 이론적 복잡도 상한이 유지된다.