[논문 리뷰] Gradient Flows and Accelerated Proximal Splitting Methods.

Guilherme França, Daniel P. Robinson외 1명|arXiv (Cornell University)|2019. 08. 02.

Sparse and Compressive Sensing Techniques참고 문헌 53인용 수 9

한 줄 요약

이 논문은 전진-후진, Douglas-Rachford, Tseng, Davis-Yin, 그리고 ADMM 프록시멀 알고리즘을 단일 그래디언트 플로우 미분방정식의 서로 다른 시간 이산화로 통합한다. 유사한 방법을 가속화된 두 번째 차수 그래디언트 플로우에 적용함으로써, 이 알고리즘들의 새로운 가속화된 변종을 유도하며, 이는 ADMM 및 Davis-Yin 분할법의 가속화된 형태를 포함한다. 이는 동역학계 이론을 통해 제1차 최적화의 통합된 프레임워크를 제공하며, 수렴 속도를 향상시킨다.

ABSTRACT

Proximal algorithms are well-suited for nonsmooth and constrained large-scale optimization problems and therefore suitable for applications in many areas of science. There are essentially four proximal algorithms based on fixed-point iterations currently known: forward-backward splitting, forward-backward-forward or Tseng splitting, Douglas-Rachford, and the Davis-Yin three operator splitting. In addition, the alternating direction method of multipliers (ADMM) is also closely related. In this paper we show that all of these algorithms can be derived as different discretizations of a single differential equation, namely the simple gradient flow. This is achieved through splitting methods for differential equations. Moreover, employing similar discretization schemes to a particular second-order differential equation, which we refer to as the accelerated gradient flow, results in accelerated variants of each respective proximal algorithm; we simultaneously consider two types of acceleration, although other choices are also possible. For instance, we propose accelerated variants of Davis-Yin and Tseng splitting, as well as accelerated extensions of ADMM. Interestingly, we show that ADMM and its accelerated variants correspond to rebalanced splittings, which is a recent technique designed to preserve steady states of the underlying differential equation. We show that all derived algorithms are valid first-order integrators under suitable assumptions. Our results strengthen the connections between optimization and continuous dynamical systems, offer a unified perspective on accelerated algorithms, and provide new accelerated algorithms.

연구 동기 및 목표

• 전진-후진, Tseng, Douglas-Rachford, Davis-Yin, ADMM 등의 기존 프록시멀 알고리즘을 단일 연속시간 동역학계 프레임워크로 통합하는 것.
• 이 알고리즘이 단순한 그래디언트 플로우 미분방정식의 서로 다른 시간 이산화로 유도된다는 것을 입증하는 것.
• 두 번째 차수의 가속화된 그래디언트 플로우에 유사한 이산화 기법을 적용하여 각 알고리즘의 가속화된 변종을 도출하는 것.
• ADMM 및 그 가속화된 변종이 기저의 미분방정식의 정적 상태를 유지하는 재균형 분할 기법에 해당한다는 것을 보여주는 것.
• 연속시간 역학과 분할 방법을 이용한 최적화를 위한 제1차 적분기의 이론적 기반을 마련하는 것.

제안 방법

• 모든 표준 프록시멀 알고리즘을 제1차 그래디언트 플로우 미분방정식의 명시적 시간 이산화로 유도하는 것.
• 가속화된 알고리즘의 기초가 되는 가속화된 그래디언트 플로우로 불리는 가속화된 두 번째 차수 미분방정식을 도입하는 것.
• 미분방정식의 분할 방법을 적용하여 가속화된 그래디언트 플로우를 이산화함으로써, 기존 프록시멀 방법의 새로운 가속화된 변종을 생성하는 것.
• 특히 ADMM 및 그 가속화된 버전에 대해 기저의 미분방정식의 정적 상태를 유지하기 위해 재균형 분할 기법을 사용하는 것.
• 모든 유도된 알고리즘이 문제 구조와 스텝 크기에 대한 적절한 가정 하에 유효한 제1차 적분기임을 입증하는 것.
• 연속시간 동역학계 이론을 활용하여 표준 및 가속화된 프록시멀 알고리즘의 분석을 통합하는 것.

실험 결과

연구 질문

• RQ1 모든 주요 프록시멀 알고리즘은 단일 연속시간 동역학계의 시간 이산화로 유도될 수 있는가?
• RQ2 제1차 최적화에서의 가속화는 어떻게 두 번째 차수의 미분방정식에서 체계적으로 도출될 수 있는가?
• RQ3 재균형 분할이 최적화 역학의 정적 상태를 유지하는 데 어떤 역할을 하는가? 특히 ADMM에 대해선 어떻게 되는가?
• RQ4 유도된 Davis-Yin 및 Tseng 분할법의 가속화된 변종은 비가속화된 대응체와 동일한 가정 하에 수렴 보장을 유지하는가?
• RQ5 미분방정식 이산화를 기반으로 한 통합 프레임워크는 다양한 프록시멀 방법의 수렴 행동과 가속화 메커니즘을 설명할 수 있는가?

주요 결과

• 전진-후진, Tseng, Douglas-Rachford, Davis-Yin, ADMM 등 모든 표준 프록시멀 알고리즘은 동일한 제1차 그래디언트 플로우 미분방정식의 서로 다른 시간 이산화로 유도될 수 있다.
• 이 알고리즘들의 가속화된 변종은 동일한 이산화 기법을 두 번째 차수의 가속화된 그래디언트 플로우에 적용하여 도출되며, 가속화된 Davis-Yin 및 Tseng 분할법과 같은 새로운 가속화된 방법을 제공한다.
• ADMM 및 그 가속화된 변종이 기저의 미분방정식의 정적 상태를 유지하는 재균형 분할 기법에 해당한다는 것이 입증되었으며, 이는 안정성과 수렴 성질을 설명한다.
• 제시된 가속화된 알고리즘은 표준 가정 하에 유효한 제1차 적분기이며, 향상된 수렴 속도를 보장한다.
• 이 프레임워크는 최적화와 연속 시간 동역학계 간의 관계를 강화하는 통합된 이론적 시각을 제공한다.
• 결과적으로, 프록시멀 알고리즘의 가속화는 두 번째 차수의 역학에서 체계적으로 도출될 수 있으며, 새로운 알고리즘 설계를 위한 원칙적인 접근법을 제공한다.