[논문 리뷰] The Speed-Robustness Trade-Off for First-Order Methods with Additive Gradient Noise

Bryan Van Scoy, Laurent Lessard|arXiv (Cornell University)|2021. 09. 10.

Stochastic Gradient Optimization Techniques인용 수 8

한 줄 요약

이 논문은 수렴 속도와 덧셈 기울기 노이즈에 대한 강건성 사이의 조정 가능한 트레이드오프를 갖는 일阶 최적화 방법의 가족을 제안한다. 수렴 속도와 노이즈 민감도 사이의 균형을 조절할 수 있는 스칼라 매개변수를 도입함으로써, 저자들은 빠른 수렴을 위해 강력하게 조정된 경우 가장 빠른 알려진 수렴 속도를 달성하면서도, 강건성에 맞게 조정된 경우 노이즈에 대한 제어 가능한 저항력을 유지하는 near-Pareto 최적 알고리즘—예를 들어 Robust Heavy Ball (RHB)—을 설계하였다.

ABSTRACT

We study the trade-off between convergence rate and sensitivity to stochastic additive gradient noise for first-order optimization methods. Ordinary Gradient Descent (GD) can be made fast-and-sensitive or slow-and-robust by increasing or decreasing the stepsize, respectively. However, it is not clear how such a trade-off can be navigated when working with accelerated methods such as Polyak's Heavy Ball (HB) or Nesterov's Fast Gradient (FG) methods. We consider three classes of functions: (1) smooth strongly convex quadratics, (2) smooth strongly convex functions, and (3) functions that satisfy the Polyak-Lojasiewicz property and have one-sided Lipschitz gradients. For each function class, we present a tractable way to compute the convergence rate and sensitivity to additive gradient noise for a broad family of first-order methods, and we present algorithm designs that trade off these competing performance metrics. Each design consists of a simple analytic update rule with two states of memory, similar to HB and FG. Moreover, each design has a scalar tuning parameter that explicitly trades off convergence rate and sensitivity to additive gradient noise. We numerically validate the performance of our designs by comparing their convergence rate and sensitivity to those of many other algorithms, and through simulations on Nesterov's "bad function".

연구 동기 및 목표

• 일阶 최적화 방법에서 수렴 속도와 덧셈 기울기 노이즈에 대한 민감도 사이의 기본적인 트레이드오프를 해결하기 위해.
• 넓은 범위의 일阶 방법에 대해 수렴 속도와 노이즈 민감도를 체계적으로 계산하는 프레임워크를 개발하기 위해.
• 단일 조정 가능한 매개변수를 통해 속도와 강건성 사이의 명시적 트레이드오프를 구현하는 near-Pareto 최적 알고리즘을 설계하기 위해.
• 이 프레임워크를 강력한 볼록 제곱형 함수, 한 점에서 강력한 볼록 함수, 그리고 부드러운 강력한 볼록 함수의 세 가지 함수 클래스로 확장하기 위해.
• 광범위한 수치 시뮬레이션을 통해 제안된 알고리즘의 near-최적성과 실용적 성능을 검증하기 위해.

제안 방법

• 선형 행렬부등식(LMIs)을 사용한 통합 분석 프레임워크를 제안하여 일阶 방법의 수렴 속도(ρ)와 노이즈 민감도(γ)를 계산한다.
• Polyak의 Heavy Ball과 Nesterov의 빠른 기울기 방법을 영감으로 삼은 이중 상태 메모리 업데이트 규칙을 도입하여 가속화의 효율적 파arameterization을 가능하게 한다.
• 각 함수 클래스에 대해 스펙트럼 분석과 라플라스 기반 안정성 기법을 사용하여 ρ와 γ에 대한 해석 가능한 표현식을 유도한다.
• Robust Heavy Ball(RHB)과 Robust Accelerated Method(RAM)을 단일 스칼라 조정 매개변수로 속도-강건성 트레이드오프를 제어하는 near-Pareto 최적 설계로 제안한다.
• 임의의 헤시안 행렬과 i.i.d. 가우시안 노이즈를 사용한 수치 시뮬레이션을 통해 성능과 near-최적성을 검증한다.
• 비선형 최적화 및 공액 기울기 방법의 공정한 벤치마킹을 확보하기 위해 노이즈가 있는 기울기에서 정확한 선형 탐색을 사용한다.

실험 결과

연구 질문

• RQ1 가속화된 일阶 최적화 방법에서 단일 조정 가능한 매개변수로 수렴 속도와 덧셈 기울기 노이즈에 대한 강건성 사이의 균형을 효과적으로 조절할 수 있는가?
• RQ2 부드러운 강력한 볼록 함수에 대해 일阶 최적화 방법의 수렴 속도와 노이즈 민감도 사이의 최적 트레이드오프는 무엇인가?
• RQ3 통합 분석 프레임워크를 사용하여 다양한 함수 클래스에 대해 near-Pareto 최적 알고리즘 설계를 체계적으로 유도할 수 있는가?
• RQ4 RHB와 RAM은 GD, Nesterov의 FG, NLCG, BFGS, SR1와 같은 표준 방법들과 비교해 수렴 속도와 안정 상태 오차 측면에서 어떻게 성능을 내는가?
• RQ5 제안된 방법의 성능은 일시적 및 점점 수렴 영역 모두에서 이론적 하한선에 가까운가?

주요 결과

• 제안된 Robust Heavy Ball(RHB) 방법은 속도를 위해 조정된 경우 부드러운 강력한 볼록 함수에 대해 알려진 바 가장 빠른 수렴 속도를 달성하며, Nesterov의 하한선과 일치한다.
• 강건성에 맞게 조정된 경우, RHB는 덧셈 기울기 노이즈 하에서 표준 GD, HB, FG보다 유의미하게 낮은 안정 상태 오차(γ)를 유지한다.
• 수치 시뮬레이션 결과, RHB는 정확한 선형 탐색을 사용하는 노이즈가 있는 기울기 조건에서도 NLCG, BFGS, SR1보다 수렴 속도와 노이즈 저항력 측면에서 뛰어난 성능을 보였다.
• 손으로 조정한 조각별 일정한 RHB의 형태는 일시적 단계에서 Nesterov 하한선과 일치하며, 점점 수렴 영역에서는 노이즈 제한 수렴 속도(로그-로그 스케일에서 기울기 -1/2)를 재현한다.
• 분석 프레임워크를 통해 F_{m,L} 클래스의 레이징 차원 ℓ에 따라 밀도가 높은 경계를 갖는 광범위한 일阶 최적화 방법에 대해 ρ와 γ를 효율적으로 계산할 수 있다.
• 제안된 방법 가족은 수렴 속도를 희생시키지 않은 채 노이즈 민감도를 제어할 수 있는 실용적이고 분석적으로 타당한 방법을 제공하며, 단일 스칼라 매개변수를 통한 직접적인 트레이드오프를 가능하게 한다.