[논문 리뷰] Nonconvex Variance Reduced Optimization with Arbitrary Sampling

Samuel Horváth, Peter Richtárik|arXiv (Cornell University)|2018. 09. 11.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 13

한 줄 요약

이 논문은 비볼록 경험 위험 최소화를 위한 처음으로 분산 감소된 확률적 최적화 방법을 제안하며, 중요도 샘플링을 통합하여 SVRG, SAGA, SARAH를 임의의 샘플링 전략으로 확장한다. 최적의 수렴 속도를 달성하고, 미니배치 크기에 대해 초선형 속도 향상을 보이며, 기존 최고 수준의 방법에 비해 실제 데이터셋에서 훈련을 크게 가속화한다.

ABSTRACT

We provide the first importance sampling variants of variance reduced algorithms for empirical risk minimization with non-convex loss functions. In particular, we analyze non-convex versions of SVRG, SAGA and SARAH. Our methods have the capacity to speed up the training process by an order of magnitude compared to the state of the art on real datasets. Moreover, we also improve upon current mini-batch analysis of these methods by proposing importance sampling for minibatches in this setting. Surprisingly, our approach can in some regimes lead to superlinear speedup with respect to the minibatch size, which is not usually present in stochastic optimization. All the above results follow from a general analysis of the methods which works with arbitrary sampling, i.e., fully general randomized strategy for the selection of subsets of examples to be sampled in each iteration. Finally, we also perform a novel importance sampling analysis of SARAH in the convex setting.

연구 동기 및 목표

• 비볼록 손실 함수를 위한 분산 감소된 확률적 최적화의 이론적 이해 격차를 메우기 위해.
• 이전에 탐색되지 않은 비볼록 설정에서 SVRG, SAGA, SARAH의 중요도 샘플링 변형을 개발하기 위해.
• 특히 비볼록 문제를 위한 스토하스틱 최적화에서 처음으로 최적의 미니배치 중요도 샘플링 전략을 제공하기 위해.
• 각 반복에서 데이터 부분집합을 완전히 일반적인 랜덤 선택 방식을 允허하는 임의의 샘플링 하에 수렴성을 분석하기 위해.
• 비볼록 최적화에서 미니배치 크기에 대한 초선형 속도 향상의 이론적 기초를 확립하기 위해.

제안 방법

• 임의의 샘플링 하에 분산 감소 방법을 분석하기 위한 일반적 프레임워크를 제안하여, 융통성 있고 비균일한 데이터 선택 전략을 가능하게 한다.
• 비볼록 설정에서 미니배치에 대한 중요도 샘플링을 도입하며, 수렴 시간을 최소화하는 최적의 샘플링 확률을 유도한다.
• 편향된 기울기 추정기와 분산 감소를 사용하여 SVRG, SAGA, SARAH를 비볼록 목표 함수로 적응시킨다.
• 개별 함수의 $L_i$-연속성과 평균 함수 $f$의 강한 볼록성 가정 하에 비볼록성 하에서 수렴 보장을 도출한다.
• 비볼록 케이스로의 확장을 위해, 볼록 설정에서의 SARAH 분석을 새로운 시각으로 제공하며, 중요도 샘플링을 통한 확장에 기여한다.
• 분산과 기울기 오차 항을 제어하기 위해 네스테로프의 강한 볼록성 한계와 얀의 부등식과 같은 핵심 부등식을 활용한다.

실험 결과

연구 질문

• RQ1 비볼록 설정에서 SVRG, SAGA, SARAH와 같은 분산 감소 방법에 중요도 샘플링을 효과적으로 확장할 수 있는가?
• RQ2 비볼록 스토하스틱 최적화에서 미니배치의 최적 샘플링 전략은 무엇이며, 이는 향상된 수렴 속도를 초래하는가?
• RQ3 임의의 샘플링 전략을 사용하여 기존의 분산 감소 방법을 비볼록성 하에서 통합하고 일반화할 수 있는가?
• RQ4 미니배치에서의 중요도 샘플링이 비볼록 최적화에서 고전적 직관과는 반대로 초선형 속도 향상을 이끌 수 있는가?
• RQ5 일반적인 랜덤 데이터 선택 하에서 비볼록 분산 감소 최적화 방법에 대해 어떤 이론적 보장을 확보할 수 있는가?

주요 결과

• 제안된 방법은 실제 데이터셋에서 기존 최고 수준의 방법에 비해 훈련 시간을 최대 한 계단 정도로 단축시킨다.
• 논문은 비볼록 문제에 대해 유효한, 스토하스틱 최적화에서 처음으로 최적의 중요도 샘플링 전략을 제시한다.
• 특정 영역에서 미니배치의 중요도 샘플링은 미니배치 크기에 대해 초선형 속도 향상을 이끌어내며, 고전적 기대와는 정반대된다.
• 이론적 분석을 통해 $L_i$-연속성과 강한 볼록성 가정 하에 일반적인 임의의 샘플링 프레임워크를 사용하여 비볼록성 하에서 선형 수렴을 보여준다.
• 볼록 케이스에서의 SARAH 분석은 새로우며, 중요도 샘플링을 통한 비볼록 확장의 기초가 된다.
• 기울기 추정기의 기대 분산을 최소화하는 최적의 샘플링 확률을 통해 수렴 속도가 향상된다.