[논문 리뷰] Adaptive Stochastic Variance Reduction for Subsampled Newton Method with Cubic Regularization

Junyu Zhang, Lin Xiao외 1명|arXiv (Cornell University)|2018. 11. 28.

Sparse and Compressive Sensing Techniques인용 수 8

한 줄 요약

이 논문은 비볼록 유한합 문제에 대한 부분표본 cubic 정규화 뉴턴 방법에서 헤시안의 표본 복잡도를 크게 줄이는 적응형 확률적 분산 감소 기법을 제안한다. 이는 $(\epsilon, \sqrt{\epsilon})$-근사 국소 해를 찾기 위해 $\mathcal{O}(N + N^{2/3}\epsilon^{-3/2})$의 헤시안 표본 복잡도를 달성한다. 이는 랜덤 행렬 평균의 세 번째 및 네 번째 모멘트에 대한 경계를 유도함으로써 행렬 농도 불등식에 의존하지 않고 분산을 제어함으로써 달성된다.

ABSTRACT

The cubic regularized Newton method of Nesterov and Polyak has become increasingly popular for non-convex optimization because of its capability of finding an approximate local solution with second-order guarantee. Several recent works extended this method to the setting of minimizing the average of N smooth functions by replacing the exact gradients and Hessians with subsampled approximations. It has been shown that the total Hessian sample complexity can be reduced to be sublinear in N per iteration by leveraging stochastic variance reduction techniques. We present an adaptive variance reduction scheme for subsampled Newton method with cubic regularization, and show that the expected Hessian sample complexity is O(N + N^{2/3}ε^{-3/2}) for finding an (ε,ε^{1/2})-approximate local solution (in terms of first and second-order guarantees respectively). Moreover, we show that the same Hessian sample complexity retains with fixed sample sizes if exact gradients are used. The techniques of our analysis are different from previous works in that we do not rely on high probability bounds based on matrix concentration inequalities. Instead, we derive and utilize bounds on the 3rd and 4th order moments of the average of random matrices, which are of independent interest on their own.

연구 동기 및 목표

• 비볼록 유한합 문제에 대한 부분표본 cubic 정규화 뉴턴 방법에서 헤시안 표본 복잡도를 줄이는 것.
• 지역 곡률 추정치에 기반해 표본 크기를 동적으로 조정하는 적응형 분산 감소 기법을 개발하는 것.
• 높은 확률의 행렬 농도 불등식에 의존하지 않고도 개선된 표본 복잡도를 달성하는 것.
• 랜덤 행렬의 고차 모멘트를 분석함으로써 더 약한 가정 하에서 수렴 보장을 확립하는 것.
• 정확한 기울기 사용 시 고정된 표본 크기로도 동일한 복잡도를 유지할 수 있는지 보여주는 것.

제안 방법

• 뉴턴 단계의 노름에 기반해 표본 크기를 조정하는 적응형 부분표본 전략을 도입하여 cubic 정규화 뉴턴 방법에서 헤시안 근사치를 개선한다.
• 행렬 농도 불등식에 의존하지 않고 분산을 제어하기 위해 동일분포의 랜덤 행렬 평균의 세 번째 및 네 번째 모멘트에 대한 경계를 유도한다.
• 뉴턴 단계를 부분표본 기울기 및 헤시안을 사용하여 적응형 표본 추출을 적용한 수정된 하위문제 설정을 사용한다.
• 반복 과정에서 기울기 및 헤시안 근사치의 기대 오차를 추적하는 재귀적 분석 프레임워크를 활용한다.
• 기대 오차가 뉴턴 단계 노름의 세 제곱에 따라 감소함을 보여줌으로써 수렴성을 확립한다.
• 반복 과정에 걸쳐 표본 수를 합산함으로써 총 헤시안 표본 복잡도를 분석하고, 모멘트 경계를 활용해 최종 복잡도 경계를 도출한다.

실험 결과

연구 질문

• RQ1 적응형 분산 감소 기법은 부분표본 cubic 정규화 뉴턴 방법의 헤시안 표본 복잡도를 향상시킬 수 있는가?
• RQ2 높은 확률의 행렬 농도 불등식에 의존하지 않고도 $N$에 대한 비선형 의존성을 달성할 수 있는가?
• RQ3 cubic 정규화의 적응형 부분표본 설정에서 표본 크기와 수렴 속도 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 정확한 기울기를 사용할 경우 동일한 표본 복잡도를 유지할 수 있는가?
• RQ5 랜덤 행렬의 고차 모멘트는 확률적 뉴턴 방법의 수렴 분석에서 어떤 역할을 하는가?

주요 결과

• 제안된 적응형 방법은 $(\epsilon, \sqrt{\epsilon})$-근사 국소 해를 찾기 위해 기대 헤시안 표본 복잡도 $\mathcal{O}(N + N^{2/3}\epsilon^{-3/2})$를 달성한다.
• 정확한 기울기를 사용할 경우에도 고정된 헤시안 표본 크기로 동일한 표본 복잡도를 유지한다.
• 헤시안 표본 복잡도 분석에서 행렬 농도 불등식을 피하기 위해 랜덤 행렬 평균의 세 번째 및 네 번째 모멘트에 대한 경계를 도출한다.
• 표준 부분표본 뉴턴 방법보다 향상된 성능를 보이며, 이는 $\mathcal{O}(N\epsilon^{-3/2})$의 헤시안 표본 수가 필요하다.
• 유도된 모멘트 경계는 독립적인 관심사이며, 고차 통계를 포함하는 다른 확률적 최적화 문제에 적용 가능할 수 있다.
• 이론적 보장은 높은 확률이 아닌 기대값 기반으로 확립되어 있어, 더 실용적인 분석 프레임워크를 제공한다.