[논문 리뷰] Saving Gradient and Negative Curvature Computations: Finding Local Minima More Efficiently

Yaodong Yu, Difan Zou외 1명|arXiv (Cornell University)|2017. 12. 11.

Stochastic Gradient Optimization Techniques참고 문헌 39인용 수 6

한 줄 요약

이 논문은 검색 공간을 큰 기울기 영역과 작은 기울기 영역으로 나누어 기울기 및 음의 곡률 계산을 크게 줄이는 비볼록 최적화 알고리즘의 가족을 제안한다. 알고리즘은 큰 기울기 영역에서만 기울기 강하를 수행하고, 작은 기울기 영역에서는 음의 곡률 단일 단계를 사용하여 탈출함으로써 런타임 복잡도를 향상시키고, 특히 유한합 설정에서 결정론적 및 스토하스틱 설정 모두에서 최신 기법들을 능가한다.

ABSTRACT

We propose a family of nonconvex optimization algorithms that are able to save gradient and negative curvature computations to a large extent, and are guaranteed to find an approximate local minimum with improved runtime complexity. At the core of our algorithms is the division of the entire domain of the objective function into small and large gradient regions: our algorithms only perform gradient descent based procedure in the large gradient region, and only perform negative curvature descent in the small gradient region. Our novel analysis shows that the proposed algorithms can escape the small gradient region in only one negative curvature descent step whenever they enter it, and thus they only need to perform at most $N_ε$ negative curvature direction computations, where $N_ε$ is the number of times the algorithms enter small gradient regions. For both deterministic and stochastic settings, we show that the proposed algorithms can potentially beat the state-of-the-art local minima finding algorithms. For the finite-sum setting, our algorithm can also outperform the best algorithm in a certain regime.

연구 동기 및 목표

• 비용이 많이 드는 기울기 및 음의 곡률 계산을 최소화하는 실용적인 비볼록 최적화 알고리즘을 설계하기 위해.
• 영역 특화 강하 전략을 활용하여 약한 국소 최소값으로의 수렴 속도를 높이기 위해.
• 약한 제2차 정류점(approximate second-order stationary points)을 찾는 데 있어 기존의 제2차 및 제1차 방법보다 런타임 복잡도를 향상시키기 위해.
• 스토하스틱 및 유한합 비볼록 최적화 설정 모두에서 우수성을 입증하기 위해.
• 단일 음의 곡률 단계로도 작은 기울기 영역에서 탈출하는 데 충분하며, 이는 계산 오버헤드를 크게 줄인다.

제안 방법

• 알고리즘은 도메인을 큰 기울기 영역(∥∇f(x)∥₂ > ϵ)과 작은 기울기 영역(∥∇f(x)∥₂ ≤ ϵ)으로 분할한다.
• 큰 기울기 영역에서는 표준 기울기 강하 또는 그 변종을 수행한다.
• 작은 기울기 영역에서는 탈출을 보장하기 위해 단 한 번의 음의 곡률 강하 단계만 적용한다.
• 이 방법은 한 번의 음의 곡률 단계로도 작은 기울기 영역을 탈출할 수 있음을 보여주는 새로운 분석을 활용한다. 이로 인해 음의 곡률 계산 횟수는 최대 Nϵ번으로 제한되며, 여기서 Nϵ은 작은 기울기 영역에 진입한 횟수이다.
• 큰 기울기 영역에서는 스위치드 제1차 오라클(SCSG, SVRG 등)을 사용하고, 작은 기울기 영역에서는 단일 단계 음의 곡률 업데이트를 적용한다.
• 에러 전파 및 성공 확률를 제어하기 위해 마르코프 부등식과 농도 경계를 사용하여 이론적 보장을 도출한다.

실험 결과

연구 질문

• RQ1 비용이 많이 드는 기울기 및 음의 곡률 계산을 크게 줄이면서도 약한 국소 최소값으로의 수렴을 보장할 수 있는 비볼록 최적화 알고리즘을 설계할 수 있는가?
• RQ2 작은 기울기 영역에 진입할 때마다 음의 곡률 계산을 단 한 번으로 제한함으로써 런타임 복잡도를 향상시킬 수 있는가?
• RQ3 스토하스틱 및 유한합 설정에서 제안된 방법이 수렴 속도와 계산 비용 측면에서 최신 기법들과 비교하여 어떻게 성능을 냈는가?
• RQ4 비싼 헤시안 또는 헤시안-벡터 곱 계산을 최소화하면서도 높은 성공 확률을 유지할 수 있는가?
• RQ5 기울기 강하를 큰 기울기 영역에서, 단일 단계 음의 곡률 강하를 작은 기울기 영역에서 수행하는 영역 기반 전략이 증명 가능한 더 나은 복잡도 경계를 이끌 수 있는가?

주요 결과

• 스토하스틱 설정에서 제안된 알고리즘은 eO(ρ²∆f/ϵ³_H + min{ρ²∆f/ϵ³_H, Nϵ})의 런타임 복잡도를 달성하며, 기존 방법보다 향상된 성능을 보인다.
• 유한합 설정에서는 eO(L∆fn²/³/ϵ² + (n + n³/⁴L¹/²/ϵ_H¹/²)min{ρ²∆f/ϵ³_H, Nϵ})의 런타임 복잡도를 달성하며, 특정 영역에서는 기존에 알려진 최고의 알고리즘을 능가한다.
• 음의 곡률 방향 계산 횟수는 작은 기울기 영역에 진입한 횟수 Nϵ으로 제한되며, 진입할 때마다 단 한 번의 단계만 필요하다.
• 알고리즘은 단일 음의 곡률 단계로 안정점에서의 탈출을 보장하여, 작은 기울기 영역을 효율적으로 통과할 수 있다.
• 마르코프 부등식과 내부 루프 반복 횟수에 대한 기하분포 경계를 통해 오차 항을 제어함으로써 성공 확률을 일정 수준(≥2/3)으로 유지한다.
• 비용이 많이 드는 헤시안 또는 헤시안-벡터 곱 계산에 대한 의존도를 줄여, 삼차 정규화나 반복적 헤시안 기반 방법보다 더 실용적이다.