[논문 리뷰] Improved Optimization of Finite Sums with Minibatch Stochastic Variance Reduced Proximal Iterations

Jialei Wang, Tong Zhang|arXiv (Cornell University)|2017. 06. 21.

Stochastic Gradient Optimization Techniques참고 문헌 45인용 수 7

한 줄 요약

이 논문은 유한합 경험 위험 최소화 문제에서 수렴 속도를 향상시키기 위해 분산 감소(first-order) 기울기와 부분 샘플링된 헤시안 근사치를 조합한 새로운 미니배치 확률적 최적화 방법을 제안한다. 미니배치를 통해 확률적 분산 감소와 근사된 두 번째 차수 정보를 통합함으로써, 강한 볼록성과 미분 가능성 조건 하에서 이론적 하한선에 도달하는 향상된 반복 복잡도를 달성한다. 이는 기존의 SVRG 및 Catalyst 가속 알고리즘과 비교해 더 빠른 수렴 속도와 뛰어난 경험적 성능을 보여준다.

ABSTRACT

We present novel minibatch stochastic optimization methods for empirical risk minimization problems, the methods efficiently leverage variance reduced first-order and sub-sampled higher-order information to accelerate the convergence speed. For quadratic objectives, we prove improved iteration complexity over state-of-the-art under reasonable assumptions. We also provide empirical evidence of the advantages of our method compared to existing approaches in the literature.

연구 동기 및 목표

• 머신 러닝에서 흔한 대규모 데이터셋을 가진 유한합 문제를 위한 더 빠른 최적화 알고리즘을 개발하기 위해.
• 미니배치 환경에서 분산 감소 기법과 부분 샘플링된 두 번째 차수 정보를 조합하여 수렴 속도를 향상시키기 위해.
• 강한 볼록성과 미분 가능성 조건 하에서 제1차 및 프록시 오рак루 모델에 대한 이론적 하한선에 도달하는 향상된 반복 복잡도를 달성하기 위해.
• 기존 방법들인 SVRG, SDCA, Catalyst 가속 알고리즘과의 비교를 통해 경험적으로 제안 방법의 우수성을 검증하기 위해.

제안 방법

• 첫 번째 차수 기울기와 부분 샘플링된 헤시안 정보를 동시에 활용하는 미니배치 확률적 분산 감소 프록시 반복 방법을 도입한다.
• 분산 감소를 향상시키고 수렴을 개선하기 위해 모멘텀 유사 항을 가진 재귀적 업데이트 방식을 사용한다.
• 전체 헤시안 계산 없이도 곡률 정보를 근사하기 위해 데이터의 일부 미니배치를 활용해 부분 샘플링된 헤시안 근사치를 적용한다.
• 기울기와 헤시안 기여도를 균형 있게 조절하기 위해 적절히 선택된 스텝 사이즈 η를 사용하는 프록시 유사 업데이트를 적용한다.
• 하위최적성(suboptimality)을 추적하고 행렬 베르누이 및 재귀 분석을 통해 수렴 한계를 유도하기 위해 리아푸노프 함수 δt를 통합한다.
• 특히 조건 수가 높은 영역에서 수렴 속도 향상을 위해 분석 과정에서 Catalyst 스타일의 가속 기법을 적용한다.

실험 결과

연구 질문

• RQ1 분산 감소 확률적 기울기와 부분 샘플링된 헤시안 근사치를 조합하면, 유한합 최적화에서 더 빠른 수렴을 이룰 수 있는가?
• RQ2 제안된 방법이 제1차 및 프록시 오라클 모델에 대해 이론적 반복 복잡도 하한선에 도달하는가?
• RQ3 미니배치 크기가 알고리즘의 수렴 속도와 계산 효율성에 어떤 영향을 미치는가?
• RQ4 실제 적용에서 기존 최첨단 알고리즘인 SVRG 및 Catalyst 가속 방법보다 성능이 뛰어나게 되는가?
• RQ5 헤시안 근사 품질과 샘플링 전략이 수렴 안정성과 속도에 어떤 영향을 미치는가?

주요 결과

• 강한 볼록성과 미분 가능성 조건 하에서 제안된 방법은 O((n + √(nL/λ)) log(1/ϵ))의 향상된 반복 복잡도를 달성하며, 이는 Woodworth와 Srebro (2016)가 수립한 이론적 하한선과 일치한다.
• 조건 수 √(L/λ)에 의존하는 선형 수렴 속도를 보이며, 특히 조건 수가 높은 영역에서 표준 SVRG보다 뛰어난 성능을 보인다.
• 로지스틱 회귀 및 리지 회귀 과제에서의 경험적 결과는 SVRG, SDCA, Catalyst 가속 방법과 비교해 더 빠른 수렴 속도와 낮은 목적 함수 최적화 오차를 보여준다.
• 적절한 파rameter 설정 하에서 기대 목적 함수 최적화 오차가 O(1/√(λη) log(36)) 반복 이내에 반으로 줄어들며, 이는 적절한 조건 하에서 지수 수렴을 의미한다.
• 이론적 분석을 통해 제안 방법의 수렴 속도는 제1차 및 프록시 오라클 모델 하에서 더 이상 향상될 수 없음을 확인하였으며, 이는 최적성의 증명이다.
• 전체 헤시안 계산의 높은 비용을 피하면서도, 빠른 수렴을 유지하기 위해 미니배치 헤시안 근사치를 사용함으로써 각 반복의 비용을 낮게 유지한다.