[논문 리뷰] Convergence rate analysis of the forward-Douglas-Rachford splitting scheme

Damek Davis|arXiv (Cornell University)|2014. 10. 09.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 4

한 줄 요약

이 논문은 볼록 최적화 문제에 대한 전진-도우글라스-라흐포드 분할(FDRS) 알고리즘의 체계적인 수렴 속도 분석을 제공한다. 일반 볼록성 하에서 비ergodic 및 ergodic 수렴 속도를 확립하며, 부드러운 함수가 리프시츠 미분 가능할 경우 FDRS가 FBS 수렴 속도를 따라가며, 강한 볼록성과 부드러움 조건 하에서 선형 수렴을 보임을 증명한다. 동시에 강한 볼록성 조건만으로도 FDRS가 임의로 느리게 수렴하는 예시를 제시한다.

ABSTRACT

Operator splitting schemes are a class of powerful algorithms that solve complicated monotone inclusion and convex optimization problems that are built from many simpler pieces. They give rise to algorithms in which all simple pieces of the decomposition are processed individually. This leads to easily implementable and highly parallelizable or distributed algorithms, which often obtain nearly state-of-the-art performance. In this paper, we analyze the convergence rate of the forward-Douglas-Rachford splitting (FDRS) algorithm, which is a generalization of the forward-backward splitting (FBS) and Douglas-Rachford splitting (DRS) algorithms. Under general convexity assumptions, we derive the ergodic and nonergodic convergence rates of the FDRS algorithm, and show that these rates are the best possible. Under Lipschitz differentiability assumptions, we show that the best iterate of FDRS converges as quickly as the last iterate of the FBS algorithm. Under strong convexity assumptions, we derive convergence rates for a sequence that strongly converges to a minimizer. Under strong convexity and Lipschitz differentiability assumptions, we show that FDRS converges linearly. We also provide examples where the objective is strongly convex, yet FDRS converges arbitrarily slowly. Finally, we relate the FDRS algorithm to a primal-dual forward-backward splitting scheme and clarify its place among existing splitting methods. Our results show that the FDRS algorithm automatically adapts to the regularity of the objective functions and achieves rates that improve upon the sharp worst case rates that hold in the absence of smoothness and strong convexity.

연구 동기 및 목표

• 모노톤 포함 문제 및 볼록 최적화 문제를 해결하기 위한 전진-도우글라스-라흐포드 분할(FDRS) 알고리즘의 수렴 속도를 분석하는 것.
• 일반 볼록성, 리프시츠 미분 가능성, 강한 볼록성 등 다양한 정규성 조건 하에서 FDRS의 날카운 수렴 속도를 확립하는 것.
• FDRS가 포워드-백워드 및 원시-이중 분할 방법과 같은 다른 분할 방법과의 관계를 명확히 하고, 문제의 구조를 어떻게 활용할 수 있는지 보여주는 것.
• FDRS가 목적 함수의 정규성에 자동으로 적응하여, 부드러움 또는 강한 볼록성이 존재할 경우 더 빠른 수렴 속도를 달성할 수 있음을 보여주는 것.
• 강한 볼록성 조건이 존재하더라도 FDRS가 임의로 느리게 수렴하는 예시를 제작하여, 선형 수렴을 보장하기 위해 추가적인 부드러움 조건이 필요한 중요성을 부각하는 것.

제안 방법

• 고정점 반복과 리아프노프 분석을 사용하여 일반 볼록성 조건 하에서 FDRS의 ergodic 및 non-ergodic 수렴 속도를 유도한다.
• 부드러운 항의 리프시츠 미분 가능성 조건 하에서, FDRS의 최선의 반복(iterate)이 포워드-백워드 분할(FBS)의 마지막 반복과 동일한 속도로 수렴함을 증명한다. 이는 $ O(1/k) $ 수렴 속도를 의미한다.
• 원시-이중 해석을 적용하여 FDRS를 포워드-백워드 원시-이중 분할 방법과 연결함으로써, FDRS가 연산자 분할 가족 내에서 차지하는 위치를 명확히 한다.
• 스펙트럼 분석 및 힐버트 공간 상의 고유값 분해를 사용하여 최악의 경우 예시를 구성함으로써, 강한 볼록성 조건만으로도 FDRS가 임의로 느리게 수렴할 수 있음을 시연한다.
• 분리 가능한 힐버트 공간 상의 매개변수화된 벡터 수열을 사용하여 수렴 속도의 하한을 유도하고, 반복의 감쇠 속도에 대한 의존성을 보여준다.
• FDRS 연산자를 프록시멀, 기울기, 투영 단계의 복합체로 분석하고, 에너지 감소 추론 및 노름 부등식을 통해 수렴 한계를 도출한다.

실험 결과

연구 질문

• RQ1 일반 볼록성 조건 하에서 전진-도우글라스-라흐포드 분할(FDRS) 알고리즘의 수렴 속도는 무엇인가요?
• RQ2 부드러운 항이 리프시츠 미분 가능할 경우, FDRS의 수렴 속도는 포워드-백워드 분할(FBS) 알고리즘의 수렴 속도와 어떻게 비교될 수 있나요?
• RQ3 FDRS가 선형 수렴을 달성하는 조건는 무엇이며, 이는 강한 볼록성 조건만으로 보장될 수 있나요?
• RQ4 목적 함수가 강한 볼록성 조건을 만족함에도 불구하고 FDRS가 임의로 느리게 수렴할 수 있는가, 그리고 만약 그렇다면 그 이유는 무엇인가요?
• RQ5 구조 활용 및 알고리즘 효율성 측면에서 FDRS는 다른 원시 및 원시-이중 분할 방법과 어떻게 관련이 있나요?

주요 결과

• 일반 볼록성 조건 하에서 FDRS는 최악의 경우 $ O(1/k) $ 수준의 ergodic 수렴 속도와 동일한 $ O(1/k) $ 수준의 non-ergodic 수렴 속도를 달성하며, 이는 최적이다.
• 부드러운 항이 리프시츠 미분 가능할 경우, FDRS의 최선의 반복은 FBS의 마지막 반복과 동일한 속도로 수렴하며, $ O(1/k) $ 수렴 속도를 달성한다.
• 강한 볼록성 조건 하에서 FDRS는 최소화자로의 강한 수렴을 보이며, non-ergodic 관점에서 $ O(1/k) $ 수렴 속도를 가진다.
• 강한 볼록성과 리프시츠 미분 가능성 조건이 동시에 만족될 경우, FDRS는 선형 수렴을 보이며, 즉 어떤 $ \rho \in (0,1) $ 에 대해 $ O(\rho^k) $ 수렴 속도를 가진다.
• 논문은 목적 함수가 강한 볼록성이지만 FDRS가 임의로 느리게 수렴하는 예시의 가족을 구성하여, 강한 볼록성만으로는 선형 수렴을 보장할 수 없음을 보여준다.
• FDRS의 수렴 속도는 적응형이다: 추가적인 정규성(부드러움 또는 강한 볼록성)이 존재할 경우 수렴 속도가 향상되며, 이러한 구조가 없을 경우 최악의 경우 한계를 초월하여 더 빠른 성능을 발휘한다.