[논문 리뷰] Sample Complexity of Stochastic Variance-Reduced Cubic Regularization for Nonconvex Optimization.

Zhe Wang, Yi Zhou외 2명|arXiv (Cornell University)|2018. 02. 20.

Sparse and Compressive Sensing Techniques참고 문헌 36인용 수 14

한 줄 요약

이 논문은 비볼록 최적화를 위한 확률적 분산 감소 입체 정규화(SVRC) 뉴턴 방법을 제안하며, 표준 입체 정규화(CR)에 비해 향상된 샘플 복잡도를 달성한다. 무작위로 선택한 샘플과 반복 선택이 허용된 샘플을 모두 활용함으로써, SVRC는 무작위 선택 없이 샘플링할 경우 $\mathcal{O}(N^{8/11} \epsilon^{-3/2})$ 및 반복 선택을 허용할 경우 $\mathcal{O}(N^{3/4}\epsilon^{-3/2})$의 총 헤시안 샘플 복잡도를 달성하며, 이는 CR 및 이전의 부분 샘플링 변형보다 우수하면서도 동일한 수렴 속도를 유지한다.

ABSTRACT

The popular cubic regularization (CR) method converges with first- and second-order optimality guarantee for nonconvex optimization, but encounters a high sample complexity issue for solving large-scale problems. Various sub-sampling variants of CR have been proposed to improve the sample complexity.In this paper, we propose a stochastic variance-reduced cubic-regularized (SVRC) Newton's method under both sampling with and without replacement schemes. We characterize the per-iteration sample complexity bounds which guarantee the same rate of convergence as that of CR for nonconvex optimization. Furthermore, our method achieves a total Hessian sample complexity of $\mathcal{O}(N^{8/11} \epsilon^{-3/2})$ and $\mathcal{O}(N^{3/4}\epsilon^{-3/2})$ respectively under sampling without and with replacement, which improve that of CR as well as other sub-sampling variant methods via the variance reduction scheme. Our result also suggests that sampling without replacement yields lower sample complexity than that of sampling with replacement. We further compare the practical performance of SVRC with other cubic regularization methods via experiments.

연구 동기 및 목표

• 대규모 비볼록 최적화에서 입체 정규화(CR)의 높은 샘플 복잡도 문제를 해결하기 위해.
• 표준 CR과 동일한 수렴 속도를 유지하면서도, CR의 확률적 분산 감소 변형을 개발하기 위해.
• 반복 선택이 허용된 경우와 허용되지 않는 경우의 두 샘플링 방식에서의 반복당 및 총 샘플 복잡도 한계를 규명하기 위해.
• 확률적 설정에서 반복 선택 없이 샘플링할 경우 반복 선택을 허용할 경우보다 더 낮은 샘플 복잡도를 달성하는지 확인하기 위해.
• 실제로 다른 입체 정규화 방법들과의 성능을 비교하여 SVRC의 수렴 속도와 샘플 효율성에 대해 실증적으로 평가하기 위해.

제안 방법

• 비볼록 최적화를 위한 확률적 분산 감소 입체 정규화(SVRC) 뉴턴 방법을 제안한다.
• 확률적 설정에서 헤시안 추정치의 안정성을 높이기 위해 분산 감소 기법을 도입한다.
• 헤시안 샘플링에 대해 반복 선택이 허용된 경우와 허용되지 않는 경우의 수렴 분석을 수행한다.
• 표준 CR의 수렴 속도를 유지하면서도 반복당 샘플 복잡도 한계를 유도한다.
• 헤시안 근사치의 분산을 줄이기 위해 재귀적 헤시안 추정 전략을 사용한다.
• 두 샘플링 방식에 대해 총 헤시안 샘플 복잡도의 이론적 한계를 설정한다.

실험 결과

연구 질문

• RQ1 확률적 분산 감소 입체 정규화 방법이 표준 입체 정규화와 동일한 수렴 속도를 유지하면서도 샘플 복잡도를 감소시킬 수 있는가?
• RQ2 확률적 입체 정규화에서 반복 선택이 허용된 경우와 허용되지 않는 경우의 선택이 총 헤시안 샘플 복잡도에 어떤 영향을 미치는가?
• RQ3 두 샘플링 방식에 대해 SVRC의 이론적 샘플 복잡도 한계는 무엇인가?
• RQ4 헤시안 추정에서의 분산 감소가 비볼록 최적화에서 수렴 행동을 향상시키는가?
• RQ5 실제로 다른 입체 정규화 방법들과 비교했을 때, SVRC는 수렴 속도와 샘플 효율성 측면에서 어떻게 성능을 내는가?

주요 결과

• SVRC 방법은 표준 입체 정규화(CR)와 동일한 수렴 속도를 달성하면서도 샘플 복잡도를 크게 감소시킨다.
• 반복 선택 없이 샘플링할 경우, 총 헤시안 샘플 복잡도는 $\mathcal{O}(N^{8/11} \epsilon^{-3/2})$이며, 이는 CR 및 이전의 부분 샘플링 변형보다 향상된 결과이다.
• 반복 선택을 허용할 경우, 총 헤시안 샘플 복잡도는 $\mathcal{O}(N^{3/4}\epsilon^{-3/2})$이며, 이 역시 CR을 초월하는 성능을 보인다.
• 반복 선택 없이 샘플링할 경우 반복 선택을 허용할 경우보다 더 낮은 샘플 복잡도를 달성함으로써, 분산 감소 효율성 측면에서 이론적 우수성을 보여준다.
• 실증 결과에 따르면, SVRC는 실질적인 수렴 속도와 샘플 효율성 측면에서 다른 입체 정규화 방법들보다 뛰어난 성능을 보였다.