[논문 리뷰] Optimal Finite-Sum Smooth Non-Convex Optimization with SARAH.

Lam M. Nguyen, Marten van Dijk외 4명|arXiv (Cornell University)|2019. 01. 23.

Stochastic Gradient Optimization Techniques참고 문헌 24인용 수 17

한 줄 요약

이 논문은 리프시츠 연속 기울기 가정 하에 유한합 스무쓰 비볼록 최적화에서 첫 번째 순서 정류점을 찾는 데 있어, 약간의 수정을 거친 SARAH 알고리즘의 최적 복잡도 $\Omega(\sqrt{n}/\epsilon)$ 를 증명한다. 이는 SARAH가 변동성 감소 방법 중에서 이론적 하한선에 처음으로 부합함을 보여주며, 기존 방법들보다 최적성과 우수성을 입증한다.

ABSTRACT

The total complexity (measured as the total number of gradient computations) of a stochastic first-order optimization algorithm that finds a first-order stationary point of a finite-sum smooth nonconvex objective function $F(w)=\frac{1}{n} \sum_{i=1}^n f_i(w)$ has been proven to be at least $\Omega(\sqrt{n}/\epsilon)$ where $\epsilon$ denotes the attained accuracy $\mathbb{E}[ \| abla F( ilde{w})\|^2] \leq \epsilon$ for the outputted approximation $ ilde{w}$ (Fang et al.,2018). This paper is the first to show that this lower bound is tight for the class of variance reduction methods which only assume the Lipschitz continuous gradient assumption. We prove this complexity result for a slightly modified version of the SARAH algorithm in (Nguyen et al.,2017a;b) - showing that SARAH is optimal and dominates all existing results. For convex optimization, we propose SARAH++ with sublinear convergence for general convex and linear convergence for strongly convex problems; and we provide a practical version for which numerical experiments on various datasets show an improved performance.

연구 동기 및 목표

• 비볼록 유한합 최적화에서 변동성 감소 방법의 알려진 하한선과 달성 가능한 복잡도 사이의 격차를 메우기 위해.
• 약간 수정된 형태의 SARAH 알고리즘이 스무쓰 비볼록 문제에서 이론적 하한선 $\Omega(\sqrt{n}/\epsilon)$ 를 달성함을 증명하기 위해.
• 리프시츠 연속 기울기 가정 하에 변동성 감소 방법 중에서 SARAH의 최적성 확립을 위해.
• 일반 및 강력 볼록 케이스에 대해 각각 하향선형 및 선형 수렴을 보장하는 SARAH++를 제안하여 프레임워크를 볼록 최적화로 확장하기 위해.
• SARAH++의 실용적 변형을 개발하고 실제 데이터셋을 이용한 수치 실험을 통해 성능을 검증하기 위해.

제안 방법

• 핵심적인 재귀적 변동성 감소 메커니즘을 유지하면서도, 비볼록 설정에서 최적 수렴을 보장하는 SARAH 알고리즘의 수정된 버전이 도입된다.
• 기울기의 리프시츠 연속성 가정을 바탕으로 출력 점에서 기울기의 기대 노름을 제한하는 데 분석이 의존된다.
• 알고리즘은 제어 변수를 사용하여 전체 기울기의 재귀적 추정을 유지함으로써, 확률적 기울기 갱신에서의 변동성을 감소시킨다.
• 볼록 문제의 경우, 적응형 단계 크기를 갖춘 SARAH++가 설계되어 일반 볼록 목표 함수에 대해 하향선형 수렴과 강력 볼록일 경우 선형 수렴을 달성한다.
• 실용적인 SARAH++ 구현이 제안되며, 선형 검색 및 적응형 학습률 전략을 통합하여 경험적 성능을 향상시킨다.
• 반복 과정에서 기울기 노름의 감쇠를 추적하는 데 기반한 새로운 분석 프레임워크를 사용하여 이론적 복잡도 한계가 유도된다.

실험 결과

연구 질문

• RQ1 비볼록 유한합 최적화에서 $\Omega(\sqrt{n}/\epsilon)$ 의 이론적 하한선이 변동성 감소 방법에 의해 달성될 수 있는가?
• RQ2 수정된 형태의 SARAH가 스무쉬 비볼록 유한합 문제에서 변동성 감소 알고리즘 중 최적인가?
• RQ3 SARAH 프레임워크는 증명 가능하고 수렴 보장이 있는 볼록 최적화로 확장될 수 있는가?
• RQ4 제안된 SARAH++의 실용적 변형은 경험적 평가에서 기존 방법들을 능가하는가?
• RQ5 재귀적 변동성 감소 메커니즘과 복잡도 한계의 날카로움 사이의 관계는 무엇인가?

주요 결과

• 수정된 SARAH 알고리즘은 스무쉬 비볼록 유한합 문제에서 첫 번째 순서 정류점을 찾는 데 최적 복잡도 $\Omega(\sqrt{n}/\epsilon)$ 를 달성한다.
• 이 복잡도 한계는 날카로움이 입증되었으며, 동일한 가정 하에 어떤 변동성 감소 방법도 더 나은 성능을 달성할 수 없음을 보여준다.
• SARAH는 변동성 감소 방법 중에서 이론적 하한선에 처음으로 부합하는 알고리즘이며, 그 최적성은 입증된다.
• 볼록 문제의 경우, SARAH++는 일반 볼록 목표 함수에 대해 하향선형 수렴을 달성하고 강력 볼록일 경우 선형 수렴을 달성한다.
• 수치 실험에서 SARAH++의 실용적 버전은 다양한 실제 데이터셋에서 향상된 성능을 보였다.
• 이론적 분석은 SARAH의 재귀적 기울기 추정이 최적의 변동성 감소를 보장함으로써 날카로운 복잡도 한계를 가능하게 함을 확인한다.