[논문 리뷰] A Dynamical Systems Perspective on Nonsmooth Constrained Optimization

Guilherme França, Daniel P. Robinson외 1명|arXiv (Cornell University)|2018. 08. 13.

Sparse and Compressive Sensing Techniques참고 문헌 33인용 수 11

한 줄 요약

이 논문은 미분 가능하지 않은 선형 제약 조건이 있는 최적화 문제에 동역학 시스템 관점을 확장하여, 네스테로프 방법을 통해 가속화된 하나와 폴랴크의 무거운 구슬 방법에 영향을 받은 다른 하나의 새로운 ADMM 변종에 대해 연속시간 미분 포함관계를 유도한다. 비미분 가능 리아푸노프 분석을 사용하여 볼록 및 강볼록 설정에서 수렴 속도를 확립하며, 두 가속 전략 간의 상충 관계를 드러낸다.

ABSTRACT

The acceleration technique introduced by Nesterov for gradient descent is widely used in machine learning, but its principles are not yet fully understood. Recently, significant progress has been made to close this understanding gap through a continuous-time dynamical systems perspective associated with gradient methods for smooth and unconstrained problems. Here we extend this perspective to nonsmooth and linearly constrained problems by deriving nonsmooth dynamical systems related to variants of the relaxed and accelerated alternating direction method of multipliers (ADMM). We introduce two new ADMM variants, one based on Nesterov's acceleration and the other inspired by Polyak's heavy ball method, and derive differential inclusions modelling these algorithms in the continuous-time limit. Using a nonsmooth Lyapunov analysis, we obtain rate-of-convergence results for these dynamical systems in the convex and strongly convex setting that illustrate an interesting tradeoff between Nesterov and heavy ball acceleration.

연구 동기 및 목표

• 부드럽지 않고 비선형 제약 조건이 있는 최적화 문제로 연속시간 동역학 시스템 프레임워크를 부드럽고 비제약 조건 최적화에서 확장하기.
• 향상된 수렴을 위해 네스테로프의 가속화와 폴랴크의 중력구슬 운동량을 통합한 새로운 ADMM 변종 개발.
• 이 알고리즘들을 연속시간 근사에서 모델링하기 위한 미분 포함관계 유도.
• 볼록 및 강볼록 설정에서 비미분 가능 리아푸노프 함수를 사용한 수렴 속도 분석.
• 수렴 속도와 안정성 측면에서 네스테로프와 중력구슬 가속화 전략 간의 상충 관계 규명.

제안 방법

• 비미분 가능하고 선형 제약 조건이 있는 목적 함수에서, 이완 및 가속화된 ADMM 변종에 대해 연속시간 동역학 시스템을 미분 포함관계를 통해 유도.
• 부드러운 볼록 최적화를 위한 네스테로프 최적 방법에 영감을 받은 운동량 항을 통합하여 네스테로프 가속화된 ADMM 변종 도입.
• 부드러운 설정에서 더 빠른 수렴을 위해 폴랴크의 중력구슬 방법에 기반한 운동량 항을 사용하는 중력구슬 기반 ADMM 변종 제안.
• 두 알고리즘 모두 이산 시간 알고리즘의 역학을 연속 시간에서 포착하기 위해 비미분 가능 미분 포함관계로 모델링.
• 미분 포함관계의 구조와 리아푸노프 함수의 성질을 활용하여 비미분 가능 리아푸노프 분석을 적용하여 수렴 속도 확립.
• 볼록 및 강볼록 가정 하에 연속 시간 시스템의 안정성과 수렴 행동 분석.

실험 결과

연구 질문

• RQ1 동역학 시스템 프레임워크는 어떻게 비미분 가능하고 선형 제약 조건이 있는 최적화 문제를 다룰 수 있는가?
• RQ2 네스테로프 가속화 및 중력구슬 기반 ADMM 변종의 연속시간 표현은 무엇인가?
• RQ3 이 연속시간 시스템의 볼록 및 강볼록 설정에서 수렴 속도는 어떻게 확립할 수 있는가?
• RQ4 연속시간 근사에서 네스테로프와 중력구슬 가속화 전략은 수렴 속도와 안정성 측면에서 어떻게 비교할 수 있는가?
• RQ5 수렴 속도와 내구성 측면에서 두 가속 메커니즘 간의 상충 관계는 무엇인가?

주요 결과

• 논문은 비미분 가능 미분 포함관계를 통해 네스테로프 가속화 및 중력구슬 기반 ADMM 변종을 모델링하는 두 가지 새로운 연속시간 동역학 시스템을 도출한다.
• 비미분 가능 리아푸노프 분석을 사용하여 수렴 속도를 확립하였으며, 볼록 케이스에서는 O(1/t) 수렴, 강볼록 케이스에서는 지수 수렴을 보였다.
• 네스테로프 가속화 시스템은 기존 ADMM보다 볼록 설정에서 더 빠른 수렴 속도를 달성하였으며, 알려진 이산 시간 결과와 일치한다.
• 중력구슬 기반 시스템은 더 빠른 국소 수렴을 보이지만 안정성은 낮을 수 있어, 네스테로프 가속화와의 상충 관계를 보여준다.
• 분석 결과 네스테로프 가속화는 더 좋은 전역 수렴 보장을 제공하는 반면, 중력구슬 가속화는 유리한 조건 하에서 더 빠른 국소 수렴을 제공함을 밝혔다.
• 연속시간 프레임워크는 수렴 속도와 내구성 간의 상충 관계를 성공적으로 포착하여, 가속화된 ADMM 방법 설계에 새로운 통찰을 제공한다.