[논문 리뷰] Tracking the gradients using the Hessian: A new look at variance reducing stochastic methods

Robert M. Gower, Nicolas Le Roux외 1명|arXiv (Cornell University)|2017. 10. 20.

Stochastic Gradient Optimization Techniques참고 문헌 14인용 수 6

한 줄 요약

이 논문은 SVRG에서 제어 변수를 통해 기울기를 동적으로 추적하기 위해 헤시안을 사용하여 확률적 최적화를 위한 새로운 분산 감소 기법을 제안한다. 이는 수렴 속도를 크게 향상시킨다. 헤시안을 대각 또는 낮은 질량 행렬로 근사화함으로써, 차원 수에 비례하는 선형 계산 비용을 유지하면서도 이론적으로나 실험적으로 다수의 데이터셋에서 SVRG보다 더 빠른 수렴을 달성한다.

ABSTRACT

Our goal is to improve variance reducing stochastic methods through better control variates. We first propose a modification of SVRG which uses the Hessian to track gradients over time, rather than to recondition, increasing the correlation of the control variates and leading to faster theoretical convergence close to the optimum. We then propose accurate and computationally efficient approximations to the Hessian, both using a diagonal and a low-rank matrix. Finally, we demonstrate the effectiveness of our method on a wide range of problems.

연구 동기 및 목표

• 제어 변수의 품질을 향상시키기 위해 기울기의 동적 추적을 통해 분산 감소 기반 확률적 최적화 방법을 개선한다.
• 이차 정보(헤시안)를 전치행렬 조정을 위한 것이 아니라, 시간에 따른 기울기 변화 추적을 위한 것으로 활용한다.
• 차원 수에 비례하는 선형 계산 비용을 유지하면서도 계산 효율적인 헤시안 근사화 방식(대각 및 낮은 질량)을 개발한다.
• 해석적으로 최적점 근처에서와 실세계 데이터셋에서의 실험적으로 모두 SVRG보다 더 빠른 수렴 속도를 확보한다.
• 특히 보조 방정식의 $σ^2$와 같은 하이퍼파rameter에 대한 민감도를 최소화하여 안정성과 실용성을 향상시킨다.

제안 방법

• 기울기 변화를 근사하는 선형 모델을 사용하는 수정된 SVRG 버전을 제안하여 제어 변수의 상관관계를 향상시킨다.
• 매 반복마다 헤시안 기반 기울기 예측을 사용해 업데이트되는 동적 제어 변수를 도입하여 진짜 기울기와의 상관관계를 높인다.
• 계산 비용을 $O(d^2)$에서 $O(d)$로 줄이기 위해 대각 및 낮은 질량(행동 매칭을 통한) 헤시안 근사화 두 가지 방식을 개발한다.
• 이차 테일러 전개를 사용해 헤시안 근사화를 점진적으로 업데이트함으로써 전체 헤시안 계산 없이도 온라인 기울기 추적을 가능하게 한다.
• 낮은 질량 헤시안 업데이트의 수치적 안정성을 확보하기 위해 안정적인 보조 방정식을 사용하며, 하이퍼파rameter $σ^2$를 포함한다.
• 데이터 패ass 및 벽시계 시간 기준으로 표준 LIBSVM 데이터셋에서 $ell_2$ 정규화를 적용한 로지스틱 회귀에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 헤시안 기반 기울기 추적을 통해 제어 변수의 상관관계를 향상시켜 SVRG의 수렴 속도를 향상시킬 수 있는가?
• RQ2 대각 또는 낮은 질량 헤시안 근사화 방식을 사용할 경우, 계산 비용을 차원 수에 비례하게 유지하면서도 수렴 속도를 빠르게 유지할 수 있는가?
• RQ3 헤시안을 전치행렬 조정이 아닌 기울기 변화 추적을 위해 사용할 경우, 분산 감소 기반 확률적 최적화에서 더 나은 성능을 낼 수 있는가?
• RQ4 보조 방정식의 $σ^2$ 하이퍼파rameter 선택에 대해 이 방법은 얼마나 강인한가?
• RQ5 제안된 방법은 해석 분석과 실험 평가 모두에서 SVRG보다 더 빠른 수렴 속도를 달성할 수 있는가?

주요 결과

• 대각 헤시안 근사화를 사용한 2D 및 2Dsec 변종은 모든 테스트 데이터셋에서 표준 SVRG에 비해 데이터 패assing 수에서 뚜렷한 승리를 거두었다.
• 벽시계 시간 기준으로는 AMgauss 및 AMprev 방법(행동 매칭 헤시안 근사화를 사용)이 가장 효율적이었으며, 낮은 질량 헤시안 추적의 실용적 이점을 입증했다.
• 그리드 서치를 통해 SVRG보다 더 큰 스텝 사이즈를 사용할 수 있었으며, 최적의 스텝 사이즈는 일반적으로 $2^a/L_{\text{max}}$ 형태이며 $a$ 값이 10에 이르는 경우가 많아 안정성이 향상됨을 확인했다.
• $σ^2$ 하이퍼파rameter가 수렴에 미치는 영향은 미미하여, 파rameter 선택에 대한 강인함을 입증했으며, 주요 실험 전반에서 $\sigma^2 = 0.1$을 사용했다.
• 이론적 분석 결과, 해소 근처에서 헤시안 기반 추적으로 인한 제어 변수 상관관계 향상으로 인해 SVRG보다 더 빠른 수렴 속도를 보였다.
• covtype 데이터셋에서는 2D 및 2Dsec가 최고의 성능를 보였고, a9a 및 버섯 데이터셋에서는 SVRG2sec 및 AM 변종이 우세하여, 성능은 메서드에 따라 달라짐을 보였다.