[논문 리뷰] A Stochastic Line Search Method with Convergence Rate Analysis

Courtney Paquette, Katya Scheinberg|arXiv (Cornell University)|2018. 07. 20.

Stochastic Gradient Optimization Techniques참고 문헌 18인용 수 36

한 줄 요약

이 논문은 알려진 양의 정보를 사용하여 기울기 및 함수 추정 정확도를 적응적으로 조정하는 확률적 선 탐색 방법을 제안하며, 결정론적 기울기 하강법과 동일한 수렴 속도를 달성한다. 비볼록 문제에 대해 $O(\varepsilon^{-2})$, 볼록 문제에 대해 $O(\varepsilon^{-1})$, 강볼록 문제에 대해 $O(\log \varepsilon^{-1})$의 수렴 속도를 달성하며, 적응적 샘플링을 통한 확률적 선 탐색의 이론적 수렴 속도 분석을 처음으로 제공한다.

ABSTRACT

For deterministic optimization, line-search methods augment algorithms by providing stability and improved efficiency. We adapt a classical backtracking Armijo line-search to the stochastic optimization setting. While traditional line-search relies on exact computations of the gradient and values of the objective function, our method assumes that these values are available up to some dynamically adjusted accuracy which holds with some sufficiently large, but fixed, probability. We show the expected number of iterations to reach a near stationary point matches the worst-case efficiency of typical first-order methods, while for convex and strongly convex objective, it achieves rates of deterministic gradient descent in function values.

연구 동기 및 목표

• 확률적 기울기 하강법(SGD)의 불안정성과 단계 크기 민감성 문제를 해결하기 위해 선 탐색 기반의 메커니즘을 도입한다.
• 기울기와 함수 값의 추정치 정확도를 현재의 알려진 양(예: 기울기 및 함수 추정치)에 기반해 동적으로 조정하는 실용적인 확률적 선 탐색을 개발한다.
• 비볼록, 볼록, 강볼록 확률적 최적화 문제에 대해 이론적 수렴 속도를 확립한다.
• 실시간 관측 가능한 양을 기반으로 한 적응적 표본 크기 선택을 통한 확률적 선 탐색의 수렴 속도 분석을 처음으로 제공한다.

제안 방법

• 소음이 있는 기울기 및 함수 추정치를 사용하는 확률적 환경에 고전적인 Armijo 역행 탐색을 적응적으로 적용한다.
• 확률적 Armijo 조건을 도입: $ f(x_k + \alpha_k d_k) \leq f(x_k) - \theta \alpha_k \|g_k\|^2 $, 여기서 $ g_k $는 기울기의 확률적 추정치이다.
• 기울기 및 함수 추정의 정확도를 제어하기 위해 적응적 샘플링을 사용하며, 확률 $ p_g, p_f > 1/2 $을 통해 충분한 품질을 확보한다.
• 유한 분산 조건 하에 기대 감소가 발생하는 잠재 함수 $ \Phi_k $의 기대 감소를 도출하기 위해 확률적 과정 프레임워크를 활용한다.
• 리프시츠 연속성과 기울기 분산 한계에서 유도된 상수를 사용하여 $ \|\nabla f(x_k)\|^2 \leq \varepsilon $가 되는 데까지의 기대 반복 횟수에 대한 상한을 유도한다.
• 역행 기반의 동적 단계 크기 선택 전략을 도입하여, Armijo 조건이 높은 확률로 만족될 때까지 단계 크기를 줄인다.

실험 결과

연구 질문

• RQ1 이론적 수렴 속도 보장이 있는 확률적 선 탐색 방법을 설계할 수 있는가?
• RQ2 기울기 및 함수 값의 적응적 샘플링을 통해 확률적 최적화에서 결정론적 수렴 속도를 달성할 수 있는가?
• RQ3 현재 반복값과 기울기와 같은 관측 가능한 양만으로도 필요한 확률적 추정의 정확도를 결정할 수 있는가?
• RQ4 비볼록 문제에 대해 제안된 방법이 $ O(\varepsilon^{-2}) $ 반복 복잡도를 달성하는가? 이는 결정론적 기울기 하강법과 일치한다.
• RQ5 볼록 및 강볼록 문제에 대해 각각 $ O(\varepsilon^{-1}) $ 및 $ O(\log \varepsilon^{-1}) $의 수렴 속도를 달성할 수 있는가?

주요 결과

• 비볼록 미분 가능 함수에 대해 이 방법은 기대 반복 복잡도 $ O(\varepsilon^{-2}) $를 달성하며, 결정론적 기울기 하강법의 최악의 경우 수렴 속도와 일치한다.
• 볼록 함수의 경우, 함수 값에 대해 $ O(\varepsilon^{-1}) $ 수렴 속도를 달성하며, 결정론적 기울기 하강법과 동일하다.
• 강볼록 케이스에서는 $ O\left(\log \varepsilon^{-1}\right) $ 반복 복잡도를 달성하며, 다시 한 번 결정론적 방법과 일치한다.
• 기대 반복 수 $ \mathbb{E}[T_\varepsilon] \leq \frac{p_g p_f}{2p_g p_f - 1} \cdot \frac{L^3 \kappa_g^3 \kappa_2^3 \Phi_0}{\kappa_1^2 \beta^2} \cdot \frac{1}{\varepsilon^2} + 1 $ 이며, $ \Phi_0 $는 초기 조건에 따라 달라진다.
• 기울기 및 함수 값의 필요 샘플링 정확도는 $ \|\nabla f(x_k)\| $, $ \alpha_{\max} $, $ \kappa_1, \kappa_2 $와 같은 관측 가능한 양을 기반으로 결정되어 실현 가능성을 보장한다.
• 이 방법은 실시간 관측 가능한 양을 기반으로 한 적응적 표본 크기 선택을 통한 확률적 선 탐색의 수렴 속도 분석을 처음으로 제공한다.