[논문 리뷰] A Robust Accelerated Optimization Algorithm for Strongly Convex Functions

Saman Cyrus, Bin Hu외 2명|arXiv (Cornell University)|2017. 10. 12.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 매개변수를 하나만 조절할 수 있는 1차 최적화 알고리즘인 강건 모멘타움 방법을 소개한다. 이 방법은 부드럽고 강력한 볼록 함수에 대해 수렴 속도와 기울기 노이즈에 대한 강건성을 균형 잡히게 한다. 제어 이론적 설계를 활용하여 기울기 방법보다 더 빠른 수렴을 달성하면서도 노이즈가 있는 기울기 조건에서도 안정성을 유지하며, 성능은 가장 빠른(트리플 모멘타움 방법)에서 가장 강건한(기울기 방법)까지 조절 가능하다.

ABSTRACT

This work proposes an accelerated first-order algorithm we call the Robust Momentum Method for optimizing smooth strongly convex functions. The algorithm has a single scalar parameter that can be tuned to trade off robustness to gradient noise versus worst-case convergence rate. At one extreme, the algorithm is faster than Nesterov's Fast Gradient Method by a constant factor but more fragile to noise. At the other extreme, the algorithm reduces to the Gradient Method and is very robust to noise. The algorithm design technique is inspired by methods from classical control theory and the resulting algorithm has a simple analytical form. Algorithm performance is verified on a series of numerical simulations in both noise-free and relative gradient noise cases.

연구 동기 및 목표

• 강력한 볼록 함수에 대한 1차 최적화에서 수렴 속도와 기울기 노이즈에 대한 강건성 간의 상충 관계를 해결한다.
• 기울기 평가의 부정확성과 불확실한 문제 파라미터에 대해 빠른 수렴을 유지하면서도 저항력이 있는 가속 알고리즘을 개발한다.
• 단일 매개변수를 통해 빠른 기울기 방법과 기울기 방법 사이를 보간하는 통합 프레임워크를 제공하여 체계적인 조정을 가능하게 한다.
• 리아파노프 분석과 선형 행렬 부등식을 사용하여 노이즈 없는 조건과 노이즈가 있는 조건 모두에서 이론적 수렴 보장을 확보한다.
• 수렴 속도가 느릴수록 강건성 마진이 증가함을 보여주어 고수준의 노이즈에서도 안정성을 확보할 수 있음을 보여준다.

제안 방법

• 세 항의 재귀식을 제안한다: $ x_{k+1} = x_k + \beta(x_k - x_{k-1}) - \alpha \nabla f(y_k) $, 여기서 $ y_k = x_k + \gamma(x_k - x_{k-1}) $이며, 매개변수 $ \rho $는 최악의 수렴 속도를 나타낸다.
• 수렴 속도 $ \rho $, $ L $, $ m $ 및 조건 수 $ \kappa = L/m $에 따라 $ \alpha, \beta, \gamma $의 명시적 공식을 유도하여 선형 수렴 속도 $ \rho $를 보장한다.
• 리아파노프 함수 $ V_k $ 를 사용하여 수렴을 증명하며, $ V_{k+1} \leq \rho^2 V_k - \nu \|\nabla g(y_k)\|^2 $ 를 만족한다. 여기서 $ \nu $ 는 $ \rho $ 가 증가할수록 증가한다.
• 매개변수 $ \nu \in [0, 1 - \frac{1}{2\kappa}] $ 를 조절하여 강건성 마진을 제어하며, 높은 $ \nu $ 는 기울기 노이즈에 대한 내성을 높인다.
• 相対적 기울기 노이즈 $ \|r_k\| \leq \delta \|\nabla f(y_k)\| $ 조건 하에서 최악의 수렴 속도를 계산하기 위해 수치적 속도 분석을 선형 행렬 부등식을 통해 수행한다.
• 다양한 노이즈 수준에서 2차원 정규 함수에 대해 시뮬레이션을 수행하여 FGM 및 GM과 성능를 비교한다.

실험 결과

연구 질문

• RQ1 강력한 볼록 문제에서 1차 최적화 방법을 어떻게 설계하여 수렴 속도와 기울기 노이즈에 대한 강건성을 균형 잡을 수 있는가?
• RQ2 단일 매개변수 알고리즘이 가장 빠른 알려진 수렴 속도와 가장 강건한 행동 사이를 보간할 수 있는가?
• RQ3 기울기 노이즈 조건 하에서 수렴 속도와 강건성 마진 간의 관계는 무엇이며, 이를 분석적으로 정량화할 수 있는가?
• RQ4 증가하는 노이즈 수준 조건에서 제안된 방법이 빠른 기울기 방법과 기울기 방법보다 안정성 면에서 어떻게 비교되는가?
• RQ5 리아파노프 기반 분석과 조절 가능한 강건성 매개변수를 사용하여 상대적 기울기 노이즈 조건 하에서도 이론적 수렴 보장을 유지할 수 있는가?

주요 결과

• 매개변수 $ \nu = 0 $ 일 때, 강건 모멘타움 방법은 최악의 선형 수렴 속도 $ \rho = 1 - \frac{1}{\sqrt{\kappa}} $ 를 달성하며, 이는 트리플 모멘타움 방법과 동일하며 노이즈가 없는 조건에서 빠른 기울기 방법보다 뛰어난 성능을 보인다.
• 매개변수 $ \nu = 1 - \frac{1}{2\kappa} $ 일 때, 알고리즘은 기울기 방법으로 축소되며, 스텝 사이즈 $ \alpha = \frac{1}{L} $ 를 보장하여 기울기 노이즈에 대해 최대 강건성을 확보한다.
• 노이즈 수준 $ \delta = 0.25 $ 일 때, $ \nu = 0.55 $ 인 강건 모멘타움 방법은 안정성을 유지하지만, 빠른 기울기 방법은 발산함을 보여주어 중간 수준의 노이즈에서도 뛰어난 강건성을 입증한다.
• 노이즈 수준 $ 0.26 < \delta < 0.41 $ 일 때는 빠른 기울기 방법이 더 빠른 수렴 경계를 가지지만, $ \delta > 0.5 $ 일 때는 발산하는 반면, 강건 모멘타움 방법은 $ \delta \to 1 $ 까지 안정성을 유지한다.
• 강건성 마진 $ \nu $ 는 $ \rho $ 가 증가함에 따라 증가하므로, 느린 수렴 속도가 기울기 노이즈에 대한 저항력을 높임을 보여주며, 성능와 강건성 간의 정량적 연관성을 규명한다.
• 시뮬레이션 결과, $ \nu = 0 $ 인 강건 모멘타움 방법은 노이즈가 없는 경우 수렴 속도가 가장 빠르지만, $ \delta > 0.13 $ 일 때는 발산하고, 높은 $ \nu $ 값은 $ \delta = 0.5 $ 에서도 안정성을 유지함을 확인하였다.