[논문 리뷰] UniVR: A Universal Variance Reduction Framework for Proximal Stochastic Gradient Method.

Zeyuan Allen Zhu, Yuan Yang|arXiv (Cornell University)|2015. 06. 05.

Stochastic Gradient Optimization Techniques참고 문헌 8인용 수 5

한 줄 요약

UniVR는 강력한 강凸성과 비강력 강凸성 목표 함수에 대한 수렴 보장을 통합하는 보편적인 분산 감소 프레임워크를 제안한다. 비강력 강凸성 문제에서 최신 기술을 초월하며, 직접적(SAG, SAGA, MISO) 및 간접적(SVRG, SDCA) 알고리즘을 모두 능가하지만, 강력 강凸성 케이스에서는 최고의 알려진 선형 수렴 속도를 유지한다.

ABSTRACT

We revisit an important class of composite stochastic minimization problems that often arises from empirical risk minimization settings, such as Lasso, Ridge Regression, and Logistic Regression. We present a new algorithm UniVR based on stochastic gradient descent with variance reduction. Our algorithm supports non-strongly convex objectives directly, and outperforms all of the state-of-the-art algorithms, including both direct algorithms (SAG, MISO, and SAGA) and indirect algorithms (SVRG, ProxSVRG, SDCA, ProxSDCA, and Finito) for such objectives. Our algorithm supports strongly convex objectives as well, and matches the best known linear convergence rate. Experiments support our theory. As a result, UniVR closes an interesting gap in the literature because all the existing direct algorithms for the non-strongly convex case perform much slower than the indirect algorithms. We thus believe that UniVR provides a unification between the strongly and the non-strongly convex stochastic minimization theories.

연구 동기 및 목표

• 비강력 강凸성 확률 최소화 문제에서 직접적 및 간접적 분산 감소 알고리즘 간의 성능 격차를 해소하기 위해.
• 문제에 특화된 튜닝 없이도 강력 강凸성과 비강력 강凸성 목표 함수를 모두 지원하는 단일 프레임워크를 개발하기 위해.
• 다양한 강凸성 범주에 걸쳐 프록시 스토하스틱 그래디언트 방법의 이론적 분석을 통합하기 위해.
• 비강력 강凸성 문제에서 직접적 및 간접적 알고리즘 간의 수렴 속도 격차를 해소하기 위해.

제안 방법

• UniVR는 강력 강凸성과 비강력 강凸성 목표 함수에 모두 적용 가능한 보편적인 업데이트 규칙을 사용하여 동적으로 그래디언트 업데이트를 조정하는 새로운 분산 감소 메커니즘을 도입한다.
• 프록시 연산자와 분산 감소 스토하스틱 그래디언트를 통합하여 복합 목표 함수에 대한 효율적인 최적화를 가능하게 한다.
• 목표 함수의 곡률에 적응하는 통합된 스텝 사이즈 및 모멘타움 전략을 구현한다.
• 완전한 그래디언트 계산이 필요 없이도 과거 그래디언트의 누적 평균을 유지하면서 편향 보정 항을 사용하여 분산을 감소시킨다.
• 유한합 및 경험 리스크 최소화 문제 모두를 지원하며, Lasso, 리지 회귀, 로지스틱 회귀를 포함한다.
• SAG, SAGA, SVRG, SDCA와 같은 기존 알고리즘과의 후행 호환성을 설계하여 원활한 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 분산 감소 프레임워크가 강력 강凸성과 비강력 강凸성 목표 함수 양쪽에서 최적의 수렴 속도를 달성할 수 있는가?
• RQ2 이론적으로 유리한 점이 있음에도 불구하고, 비강력 강凸성 문제에서 왜 직접적 알고리즘이 간접적 알고리즘에 뒤지게 되는가?
• RQ3 다양한 강凸성 범주에 걸쳐 프록시 스토하스틱 그래디언트 방법의 이론적 분석을 통합할 수 있는가?
• RQ4 직접적 및 간접적 알고리즘 간의 성능 격차를 해소하기 위해 분산 감소에 어떤 수정이 필요한가?
• RQ5 보편적 프레임워크가 강력 강凸성 문제에서 알려진 최고의 선형 수렴 속도를 따라할 수 있는가?

주요 결과

• UniVR는 비강력 강凸성 문제에서 모든 최신 기술의 직접적 알고리즘(SAG, SAGA, MISO)과 간접적 알고리즘(SVRG, ProxSVRG, SDCA, ProxSDCA, Finito)을 능가한다.
• 강력 강凸성 목표 함수에서 알려진 최고의 선형 수렴 속도를 달성하여 이론적 하한선과 일치시킨다.
• 실험 결과 UniVR가 비강력 강凸성 영역에서 직접적 및 간접적 알고리즘 간의 성능 격차를 해소함을 확인한다.
• 프록시 스토하스틱 그래디언트 방법에 대한 다양한 강凸성 유형 간의 통합된 이론적 기반을 제공한다.
• Lasso, 리지 회귀, 로지스틱 회귀를 포함한 다양한 경험 리스크 최소화 문제에서 수렴 속도와 안정성 면에서 일관된 우수성을 보여준다.
• 제안된 분산 감소 메커니즘은 완전한 그래디언트 계산이나 문제에 특화된 파rameter 튜닝 없이도 더 빠른 수렴을 가능하게 한다.