[논문 리뷰] A variable metric mini-batch proximal stochastic recursive gradient algorithm with diagonal Barzilai-Borwein stepsize

Tengteng Yu, Xinwei Liu외 2명|arXiv (Cornell University)|2020. 10. 02.

Stochastic Gradient Optimization Techniques참고 문헌 40인용 수 4

한 줄 요약

이 논문은 수렴성을 향상시키기 위해 대각선 Barzilai-Borwein 스텝사이즈를 사용하는 가변 메트릭 미니배치 프록시멀 스토하스틱 재귀 그래디언트 알고리즘인 VM-mSRGBB를 제안한다. 이 알고리즘은 강凸, 비강凸, 그리고 凸 문제 모두에서 선형 수렴성을 달성하며, 더 낮은 반복당 비용과 더 나은 실용적 성능을 바탕으로 기존의 분산 감소 방법들을 능가한다.

ABSTRACT

Variable metric proximal gradient methods with different metric selections have been widely used in composite optimization. Combining the Barzilai-Borwein (BB) method with a diagonal selection strategy for the metric, the diagonal BB stepsize can keep low per-step computation cost as the scalar BB stepsize and better capture the local geometry of the problem. In this paper, we propose a variable metric mini-batch proximal stochastic recursive gradient algorithm VM-mSRGBB, which updates the metric using a new diagonal BB stepsize. The linear convergence of VM-mSRGBB is established for strongly convex, non-strongly convex and convex functions. Numerical experiments on standard data sets show that VM-mSRGBB is better than or comparable to some variance reduced stochastic gradient methods with best-tuned scalar stepsizes or BB stepsizes. Furthermore, the performance of VM-mSRGBB is superior to some advanced mini-batch proximal stochastic gradient methods.

연구 동기 및 목표

• 대규모 복합 최적화에서 표준 스토하스틱 그래디언트 방법의 높은 반복당 비용과 느린 수렴성을 해결하기 위해.
• 분산 감소와 적응형 메트릭 선택을 통합하여 프록시멀 스토하스틱 그래디언트 방법의 수렴 속도를 향상시키기 위해.
• 미니배치 기반 기법과 재귀 그래디언트 업데이트, 대각선 Barzilai-Borwein 스텝사이즈를 결합하여 국소 기하 구조를 더 잘 근사화하는 방법을 개발하기 위해.
• 제안된 알고리즘에 대해 일반적인 凸성 가정(강凸, 비강凸, 凸) 하에서 선형 수렴 보장을 확립하기 위해.
• 최첨단 분산 감소 및 미니배치 프록시멀 스토하스틱 그래디언트 방법들과 비교해 우수한 경험적 성능을 입증하기 위해.

제안 방법

• 대각선 Barzilai-Borwein(BB) 스텝사이즈를 사용해 헤시안 행렬 근사치를 업데이트하는 가변 메트릭 미니배치 프록시멀 스토하스틱 재귀 그래디언트 알고리즘(VM-mSRGBB)을 제안한다.
• 분산을 줄이기 위해 재귀 그래디언트 추정기를 사용하며, 반복 간에 그래디언트의 누적 평균을 유지한다.
• 스토하스틱 그래디언트의 분산을 줄이면서도 반복당 비용을 낮추기 위해 미니배치 기반 기법을 적용한다.
• 계산 효율성과 국소 곡률 근사 간의 균형을 이루기 위해 대각선 BB 스텝사이즈 전략을 적용해 메트릭을 적응적으로 업데이트한다.
• 정규화 항 R(w)의 프록시멀 연산자를 효율적으로 통합하여, 비미분 가능한 정규화 문제에의 적용을 가능하게 한다.
• 강凸, 비강凸, 凸 함수의 세 가지 설정에서 수렴 분석을 유도하며, 모든 경우에서 선형 수렴성을 증명한다.

실험 결과

연구 질문

• RQ1 대각선 Barzilai-Borwein 스텝사이즈는 가변 메트릭 스토하스틱 최적화에서 반복당 비용을 유지하면서도 수렴성을 향상시킬 수 있는가?
• RQ2 미니배치와 재귀 그래디언트 추정, 대각선 메트릭 업데이트를 조합하면 기존의 분산 감소 방법보다 더 빠른 수렴을 이끌 수 있는가?
• RQ3 비강凸 문제를 포함한 일반적인 凸성 가정 하에서 제안된 알고리즘에 대해 선형 수렴성을 확립할 수 있는가?
• RQ4 표준 머신러닝 데이터셋에서 VM-mSRGBB는 최적화된 스칼라 스텝사이즈 및 BB 스텝사이즈 방법과 비교해 경험적으로 어떻게 성능을 냈는가?
• RQ5 대규모 환경에서 스칼라 또는 전면 행렬 메트릭보다 대각선 메트릭 선택 전략이 국소 문제 기하를 더 잘 포착하는가?

주요 결과

• VM-mSRGBB는 강凸, 비강凸, 凸 복합 최적화 문제 모두에서 선형 수렴성을 달성하며, 표준 방법을 넘어서 이론적 보장을 확장한다.
• 경험적으로, 최적화된 스칼라 스텝사이즈 또는 BB 스텝사이즈를 사용한 분산 감소 스토하스틱 그래디언트 방법들과 비교해 뛰어난 성능을 보였다.
• 대규모 학습 과제에서 수렴 속도와 최종 목표 함수 값 모두에서 고급 미니배치 프록시멀 스토하스틱 그래디언트 방법들을 능가했다.
• 대각선 Barzilai-Borwein 스텝사이즈는 낮은 반복당 계산 비용을 유지하면서도 국소 곡률을 효과적으로 포착해 스칼라 BB 스텝사이즈보다 더 빠른 수렴을 가능하게 했다.
• 수치 실험을 통해 제안된 방법이 특히 n이 클 때와 R(w)의 프록시멀 연산자가 효율적으로 계산 가능한 경우에 강건하고 확장 가능하다는 것이 확인되었다.
• 이론적 분석을 통해 재귀 그래디언트 추정기가 유한한 분산을 유지함으로써 온건한 가정 하에서 안정적이고 빠른 수렴이 가능하다는 것이 입증되었다.