[논문 리뷰] First order optimization methods based on Hessian-driven Nesterov accelerated gradient flow

Long Chen, Hao Luo|arXiv (Cornell University)|2019. 12. 19.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 10

한 줄 요약

이 논문은 헤시안 정보를 통합하여 제1차 최적화를 안정화하고 가속화하는 새로운 이阶 미분방정식 모델인 헤시안 구동 Nesterov 가속 경로(H-NAG)를 제안한다. 이 흐름을 명시적 및 암시적 방법으로 이산화함으로써, 최적의 수렴 속도—볼록 문제에 대해 O(1/k²), 강볼록 문제에 대해 O((1+√(μ/L))⁻ᵏ)—를 달성하는 새로운 제1차 방법을 유도한다. 이와 동시에 기울기 노름의 빠른 감쇠를 보장한다.

ABSTRACT

A novel dynamical inertial Newton system, which is called Hessian-driven Nesterov accelerated gradient (H-NAG) flow is proposed. Convergence of the continuous trajectory are established via tailored Lyapunov function, and new first-order accelerated optimization methods are proposed from ODE solvers. It is shown that (semi-)implicit schemes can always achieve linear rate and explicit schemes have the optimal(accelerated) rates for convex and strongly convex objectives. In particular, Nesterov's optimal method is recovered from an explicit scheme for our H-NAG flow. Furthermore, accelerated splitting algorithms for composite optimization problems are also developed.

연구 동기 및 목표

• 볼록 및 강볼록 문제에 대해 가속 제1차 최적화 방법을 체계적으로 생성할 수 있는 통합된 동역학 시스템을 개발하는 것.
• 연속적인 관성 뉴턴 시스템을 통한 헤시안 구동 감쇠를 도입하여 Nesterov 유형 방법의 불안정성과 진동 문제를 해결하는 것.
• 연속 및 이산 동역학에 대해 맞춤형 리아푸노프 함수를 통해 수렴 보장을 수립하는 것.
• 기울기 매핑 및 프록시멀 기법을 사용하여 복합 볼록 최적화 문제로 이 프레임워크를 확장하는 것.
• 명시적 이산화가 기존의 최적 방법(예: Nesterov의 방법, FISTA)을 통합된 ODE 기반 프레임워크에서 정확히 복원함을 보여주는 것.

제안 방법

• 동적 감쇠 γ′ = μ − γ 및 헤시안 구동 항 γβ∇²f(x)x′를 포함하는 제2차 ODE인 H-NAG 흐름을 제안하여 궤적의 안정성과 진동 감소를 도모한다.
• 헤시안 직접 계산을 피하기 위해 H-NAG 흐름을 제1차 시스템으로 재구성함으로써, C¹ 함수 및 하위기울기 기반 비미분 가능 설정에 적용 가능하게 한다.
• 연속 궤적의 지수 감쇠 및 수렴을 증명하기 위해 리아푸노프 함수 L(t) = f(x(t)) − f(x*) + (γ(t)/2)‖v(t) − x*‖²를 도입한다.
• 리아푸노프 구조를 유지하고 최적 수렴 속도를 보장하는 반의미적 및 명시적 시간 이산화 방법(예: 알고리즘 1)을 개발한다.
• 헤시안이 매끄럽고 g가 볼록이며 하부연속적인 복합 문제 f = h + g에 대해 기울기 매핑 기법을 적용한다.
• 이산 리아푸노프 부등식을 유도하여 부적합도 갭과 기울기 노름을 제한함으로써 수렴 속도 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 헤시안 정보를 통합한 연속 동역학 시스템을 설계하여, 볼록 및 강볼록 문제에 대해 가속 제1차 최적화 방법을 통합적이고 체계적으로 생성할 수 있는가?
• RQ2 헤시안 구동 감쇠는 표준 Nesterov 유형 흐름에 비해 안정성과 수렴 성능을 어떻게 향상시키는가?
• RQ3 H-NAG 흐름의 명시적 시간 이산화가 볼록 문제에 대해 최적의 O(1/k²) 수렴 속도와 강볼록 문제에 대해 O((1+√(μ/L))⁻ᵏ)를 달성할 수 있는가?
• RQ4 이 프레임워크는 비미분 성분을 포함한 복합 볼록 최적화 문제로 확장될 수 있는가?
• RQ5 이산화 방법이 연속 흐름에서 관찰된 강력한 리아푸노프 성질을 유지하는가? 이는 엄밀한 수렴 분석을 가능하게 한다.

주요 결과

• H-NAG 흐름은 리아푸노프 함수의 지수 감쇠를 보장하며, 제곱 기울기 노름의 적분은 감쇠 파ameter β에 의해 제어된다.
• 반의미적 방법은 시간 간격 αₖ가 아래에서 유계일 경우 선형 수렴을 달성한다. 이는 이산 리아푸노프 부등식에 기인한다.
• 명시적 방법(예: 알고리즘 1)은 볼록 및 강볼록 케이스 모두에서 최적 수렴 속도 O(min{1/k², (1+√(μ/L))⁻ᵏ})를 달성한다.
• 기울기 노름은 매우 빠르게 감쇠되며, bound ∑(λₖ/λᵢ)‖∇f(xᵢ)‖² ≤ O(λₖℒ₀)가 성립한다. 여기서 λₖ는 매개변수에 따라 O(1/k²) 또는 기하급수적으로 감쇠된다.
• 명시적 방법은 βₖ = 1/(Lαₖ) 및 αₖ = √(γₖ/L)일 때 Nesterov의 최적 방법을 정확히 복원한다. 이는 기존 결과와의 일致성을 확인한다.
• 복합 문제에 대해, 이 방법은 볼록 케이스에서는 FISTA를 복원하고, 강볼록 케이스에서는 기울기 매핑을 통해 새로운 가속 프록시멀 방법을 도출한다.