[논문 리뷰] Stochastic Chebyshev Gradient Descent for Spectral Optimization

In‐Su Han, Haim Avron외 1명|arXiv (Cornell University)|2018. 02. 18.

Stochastic Gradient Optimization Techniques인용 수 7

한 줄 요약

이 논문은 랜덤화된 추적 추정과 체비셰프 다항식 전개의 분산 최적의 확률적 절단을 조합하여 스펙트럼 합 함수(예: 로그 행렬식 및 노름)를 포함하는 스펙트럼 최적화 문제를 위한 비편향 확률적 경사 하강법인 Stochastic Chebyshev Gradient Descent (SCGD)를 제안한다. 핵심 기여는 추정기 분산을 최소화하는 증명 가능 최적의 차수 분포를 도출한 것으로, 이는 이전의 편향 있거나 부분적인 방법보다 더 빠르고 안정적인 수렴을 가능하게 하며, 실제 검증 결과 가우시안 프로세스 학습에서 최대 6배의 속도 향상을 보였다.

ABSTRACT

A large class of machine learning techniques requires the solution of optimization problems involving spectral functions of parametric matrices, e.g. log-determinant and nuclear norm. Unfortunately, computing the gradient of a spectral function is generally of cubic complexity, as such gradient descent methods are rather expensive for optimizing objectives involving the spectral function. Thus, one naturally turns to stochastic gradient methods in hope that they will provide a way to reduce or altogether avoid the computation of full gradients. However, here a new challenge appears: there is no straightforward way to compute unbiased stochastic gradients for spectral functions. In this paper, we develop unbiased stochastic gradients for spectral-sums, an important subclass of spectral functions. Our unbiased stochastic gradients are based on combining randomized trace estimators with stochastic truncation of the Chebyshev expansions. A careful design of the truncation distribution allows us to offer distributions that are variance-optimal, which is crucial for fast and stable convergence of stochastic gradient methods. We further leverage our proposed stochastic gradients to devise stochastic methods for objective functions involving spectral-sums, and rigorously analyze their convergence rate. The utility of our methods is demonstrated in numerical experiments.

연구 동기 및 목표

• 스펙트럼 합 함수(예: 로그 행렬식 및 노름)에 대해 정확한 경사의 높은 계산 비용 문제를 해결하기 위해.
• 기존의 편향된 추정기의 제약을 극복하고 스펙트럼 합 함수를 위한 비편향 확률적 경사 하강법을 개발하기 위해.
• 경사 추정기 분산을 최소화하는 체비셰프 전개의 분산 최적의 절단 분포를 설계하여 안정적이고 신속한 수렴에 필수적인 요소를 확보하기 위해.
• 완전한 경사 계산을 줄이며 수렴 보장을 유지함으로써 대규모 스펙트럼 최적화를 효율적으로 가능하게 하기 위해.
• 실제 작업(예: 행렬 완성 및 가우시안 프로세스 회귀)에서 방법을 경험적으로 검증하기 위해.

제안 방법

• 체비셰프 다항식 전개에서 절단 차수를 무작위로 샘플링하여 스펙트럼 합 함수를 위한 비편향 확률적 경사 추정기를 제안한다.
• 랜덤화된 추적 추정과 확률적 절단을 조합하여 전체 고유값 분해를 피함으로써 계산 비용을 감소시킨다.
• 경사 추정기 분산을 최소화하는 분산 최적의 차수 분포를 유도하여 수렴 속도를 향상시킨다.
• 최적의 차수 분포를 활용해 두 가지 확률적 최적화 프레임워크(기본 SGD 및 SVRG)를 설계하였으며, 엄밀한 수렴 분석을 수행하였다.
• 스펙트럼 함수를 매트릭스 다항식의 추적으로 표현하기 위해 체비셰프 다항식 근사를 활용하여 효율적인 확률적 추적 추정을 가능하게 한다.
• 행렬 편향 경계(예: 체비셰프 다항식 도함수 부등식을 통한)를 활용하여 확률적 근사에서 오차 전파를 제어한다.

실험 결과

연구 질문

• RQ1 완전한 고유값 분해에 의존하지 않고도 스펙트럼 합 함수를 위한 비편향 확률적 경사 하강법을 구성할 수 있는가?
• RQ2 체비셰프 전개의 어떤 절단 분포가 확률적 경사 추정기의 분산을 최소화하는가?
• RQ3 제안된 분산 최적의 분포는 표준 선택(예: 균일 또는 기하 분포)과 비교해 수렴 속도 및 안정성 측면에서 어떻게 성능을 내는가?
• RQ4 제안된 방법이 대규모 스펙트럼 최적화 작업에서 기존의 확률적 또는 결정적 방법보다 더 빠른 수렴을 달성할 수 있는가?
• RQ5 최적의 차수 분포 하에서 제안된 SGD 및 SVRG 변형의 이론적 수렴 속도는 얼마인가?

주요 결과

• 그림 1에서 보듯이 제안된 분산 최적의 차수 분포는 균일 또는 기하 분포 대비 경사 추정기 분산을 한 단계 낮춘다.
• SCGD 방법은 SGD의 경우 하향 수렴 속도, SVRG의 경우 선형 수렴 속도를 달성하며, 이는 모두 최적의 차수 분포에 의해 결정된다.
• 행렬 완성 및 가우시안 프로세스 회귀에서, 이 방법은 Szeged 습도 데이터셋에서 최첨단 전용 방법 [8]보다 최대 6배 빠르게 작동한다.
• 낮은 분산을 가진 확률적 경사 덕분에 안정적인 수렴을 유지하며, 이는 실용적 최적화에 필수적이다.
• 이론적 분석을 통해 수렴 속도가 날카롭고, 분산 최소화를 위한 절단 분포에 의해 결정되며, 이는 차수 분포에 대한 최적화를 통해 도출된다.
• 경험적 결과는 이 방법이 대규모 실세계 문제에 효율적으로 스케일링되며, 일반 목적 및 전용 기준선을 모두 능가함을 보여준다.