[논문 리뷰] Relax, and Accelerate: A Continuous Perspective on ADMM

Guilherme França, Daniel P. Robinson외 1명|arXiv (Cornell University)|2018. 08. 13.

Sparse and Compressive Sensing Techniques인용 수 1

한 줄 요약

이 논문은 연속 시간 동역학 시스템 접근법을 사용하여 두 가지 새로운 가속화된 ADMM 변형을 제안하며, 각각 다른 소산 유형을 가진 미분 포함을 통해 모델링한다. 비미분 가능 리아푸노프 분석을 통해 볼록 및 강볼록 설정에서 수렴 속도를 확립하며, 비미분 가능이고 제약 조건이 있는 최적화에서 감쇠 전략으로서 감쇠와 일정한 감쇠 간의 상충 관계를 드러낸다.

ABSTRACT

The acceleration technique introduced by Nesterov for gradient descent is widely used in optimization but its principles are not yet fully understood. Recently, significant progress has been made to close this understanding gap through a continuous time dynamical systems perspective associated with gradient based methods for smooth and unconstrained problems. Here we extend this perspective to nonsmooth and constrained problems by deriving nonsmooth dynamical systems related to variants of the relaxed and accelerated alternating direction method of multipliers (ADMM). More specifically, we introduce two new accelerated ADMM variants, depending on two types of dissipation, and derive differential inclusions that model these algorithms in the continuous time limit. Through a nonsmooth Lyapunov analysis, we obtain rates of convergence for these dynamical systems in the convex and strongly convex settings that illustrate an interesting tradeoff between decaying versus constant damping strategies.

연구 동기 및 목표

• 이전에 부드럽고 비제약 조건이 있는 경사 하강법에 적용된 연속 시간 동역학 시스템 관점이, 비미분 가능하고 제약 조건이 있는 최적화 문제로 확장되는 것.
• 특히 비미분 가능하고 제약 조건이 있는 설정에서 Nesterov 유형의 가속화에 대한 이해 부족을 해결하는 것.
• 연속 시간 프레임워크 내에서 두 가지 다른 소산 메커니즘을 통합하여 새로운 가속화된 ADMM 변형을 유도하는 것.
• 볼록 및 강볼록 설정에서 이 연속 시스템의 수렴 속도를 비미분 가능 리아푸노프 함수를 사용하여 분석하는 것.
• 제약 조건이 있고 비미분 가능한 문제에서 수렴 성능 측면에서 감쇠 전략 간의 상충 관계를 밝혀내는 것.

제안 방법

• 이완 및 가속화된 ADMM 변형의 역학을 극한에서 포착하는 연속 시간 미분 포함을 유도한다.
• 다른 가속화 행동을 모델링하기 위해 동역학 시스템에 감쇠와 일정 감쇠의 두 가지 유형의 소산을 도입한다.
• 유도된 연속 시스템의 수렴 속도를 확립하기 위해 비미분 가능 리아푸노프 분석을 적용한다.
• 비미분 가능, 볼록 및 강볼록 함수에 특화된 리아푸노프 함수 프레임워크를 사용하여 시스템의 안정성과 수렴 속도를 분석한다.
• ADMM 업데이트 규칙에서 부분도수의 존재로 인한 비미분 가능 역학을 모델링하기 위해 미분 포함을 활용한다.
• 연속 시스템의 궤적을 따라 리아푸노프 함수의 감쇠 속도를 분석함으로써 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 연속 시간 동역학 시스템 프레임워크는 어떻게 비미분 가능하고 제약 조건이 있는 문제에 대해 가속화된 ADMM를 모델링하는 데 확장될 수 있는가?
• RQ2 ADMM의 연속 시간 극한에서, 감쇠와 일정 감쇠의 다른 소산 메커니즘은 수렴 행동에 어떤 영향을 미치는가?
• RQ3 비미분 가능 리아푸노프 분석은 볼록 및 강볼록 설정에서 연속 시간 ADMM 변형의 증명 가능한 수렴 속도를 도출할 수 있는가?
• RQ4 비미분 가능이고 제약 조건이 있는 최적화에서 수렴 속도와 안정성 측면에서 감쇠 전략 간의 상충 관계는 무엇인가?
• RQ5 연속 시간 관점은 경사 하강법에서 Nesterov 방법과 유사하게 ADMM의 가속화 메커니즘을 어떻게 명확히 하는가?

주요 결과

• 논문은 감쇠와 일정 감쇠의 서로 다른 소산 메커니즘을 가진 두 가지 새로운 연속 시간 동역학 시스템을 유도하여 가속화된 ADMM 변형을 모델링한다.
• 볼록 설정에서는 리아푸노프 함수에 대해 O(1/t)의 수렴 속도를 달성하며, 이는 가속화 방법에 대해 알려진 속도와 일치한다.
• 강볼록 설정에서는 지수 수렴 속도를 나타내며, 감쇠의 선택에 따라 감쇠 속도가 달라진다.
• 분석 결과, 근본적인 상충 관계가 드러났다: 감쇠 감쇠 전략은 초기 감쇠 속도는 빠르지만 안정성에 영향을 줄 수 있고, 일정 감쇠 전략은 안정적이고 균일한 수렴을 보장한다.
• 비미분 가능 리아푸노프 분석은 부분도수와 비미분 가능 항이 역학에 존재함에도 불구하고 수렴 속도를 성공적으로 확립한다.
• 결과적으로 이는 부드럽고 비제약 조건이 있는 최적화에서의 연속 시간 관점이, 특히 ADMM에 대해 더 넓은 범위의 비미분 가능하고 제약 조건이 있는 문제로 확장된다는 것을 보여준다.