[논문 리뷰] Resolvent Splitting for Sums of Monotone Operators with Minimal Lifting

Yura Malitsky, Matthew K. Tam|arXiv (Cornell University)|2021. 08. 06.

Optimization and Variational Analysis참고 문헌 18인용 수 4

한 줄 요약

이 논문은 $n \geq 2$ 개의 최대 단조 연산자의 합을 해결하는 경제적인 해석 분할 알고리즘에 대한 최소 레벨링 문제를 해결한다. 최소 레벨링 차원이 $d^*(n) = n-1$ 임을 증명하고, $n-1$-중 레벨링을 가지는 새로운 알고리즘 가족을 수립하며, 분산 최적화 및 다중 블록 ADMM에 적용하여 수렴성과 실용성을 입증한다.

ABSTRACT

In this work, we study fixed point algorithms for finding a zero in the sum of $n\geq 2$ maximally monotone operators by using their resolvents. More precisely, we consider the class of such algorithms where each resolvent is evaluated only once per iteration. For any algorithm from this class, we show that the underlying fixed point operator is necessarily defined on a $d$-fold Cartesian product space with $d\geq n-1$. Further, we show that this bound is unimprovable by providing a family of examples for which $d=n-1$ is attained. This family includes the Douglas-Rachford algorithm as the special case when $n=2$. Applications of the new family of algorithms in distributed decentralised optimisation and multi-block extensions of the alternation direction method of multipliers (ADMM) are discussed.

연구 동기 및 목표

• 최대 단조 연산자 $n \geq 2$ 개의 합을 해결하는 경제적인 해석 분할 알고리즘에 대한 최소 레벨링 차원 $d^*(n)$ 을 규명하는 것.
• Ryu(2022)의 영감을 얻은 기법을 사용하여, 이러한 알고리즘에 대해 $d^*(n) \geq n-1$ 의 이론적 하한을 설정하는 것.
• 최소 레벨링 차원 $d^*(n) = n-1$ 을 달성하는 새로운 경제적인 해석 분할 가족을 구성하여, 이 하한이 날카롭고 향상될 수 없음을 증명하는 것.
• 새로운 알고리즘 프레임워크를 분산된 분산 최적화 및 다중 블록 ADMM에 적용하여, 중앙 조정자가 없는 새로운 방법론을 가능하게 하는 것.
• 구조화된 최적화 설정에서 제안된 방법의 수렴 분석 및 수치적 검증을 제공하는 것.

제안 방법

• 고정점 연산자 분석과 단조 연산자의 성질을 활용하여, $n \geq 2$ 에 대해 $d^*(n) \geq n-1$ 이라는 이론적 하한을 유도하는 것.
• $\mathcal{H}^{n-1}$ 의 $(n-1)$-중 카르테시안 곱공간에서 작동하는 새로운 경제적인 해석 분할 가족을 구성하며, 각 반복에서 각 해석을 정확히 한 번 평가하는 것.
• 중앙 조정자가 없는 새로운 분산 최적화 방법을 설계하여, 지역적 해석 평가에만 의존하는 것.
• 새로운 분할 기반으로 다중 블록 ADMM의 확장판을 개발하며, $n$ 개의 블록 간 분산 계산을 가능하게 하는 업데이트 구조를 설계하는 것.
• $\mathcal{H}^{n-1}$ 에 정의된 고정점 반복 프레임워크를 활용하며, 벡터 덧셈, 스칼라 곱셈 및 해석 $J_{A_i}$ 를 포함한 업데이트를 수행하는 것.
• 표준 가정(최대 단조성 및 문제의 타당성) 하에서 새로운 알고리즘의 수렴성을 증명하는 것.

실험 결과

연구 질문

• RQ1 최대 단조 연산자 $n \geq 2$ 개의 합을 해결하는 경제적인 해석 분할 알고리즘에 대해 최소 레벨링 차원 $d^*(n)$ 은 무엇인가?
• RQ2 이론적 하한 $d^*(n) \geq n-1$ 은 달성 가능한가? 만약 그렇다면, 이를 달성하는 구조적 알고리즘이 존재하는가?
• RQ3 새로운 $n$-연산자 해석 분할 가족은 중앙 조정자가 없는 분산 최적화에 적용 가능한가?
• RQ4 이 프레임워크는 제품 공간 재구성 방식을 피하면서도 분산 계산을 지원하는 다중 블록 ADMM 변형으로 확장 가능한가?
• RQ5 기존 방법(예: PDHG 및 두 블록 ADMM)과 비교해보았을 때, 새로운 알고리즘의 수렴 행동과 반복 복잡도는 어떠한가?

주요 결과

• 최대 단조 연산자 $n \geq 2$ 개의 해석 분할에 대해 최소 레벨링 차원이 $d^*(n) = n-1$ 임을 증명하여 열린 문제를 해결한다.
• 고정점 연산자 분석과 연산자 단조성 성질을 활용하여 이론적 하한 $d^*(n) \geq n-1$ 이 설정된다.
• 최소 레벨링 차원 $n-1$ 을 달성하는 새로운 경제적인 해석 분할 가족이 구성되며, 이는 하한이 날카롭고 향상될 수 없음을 증명한다.
• 새로운 알고리즘은 중앙 조정자가 필요 없는 분산 최적화 방법론을 가능하게 하며, 지역적 해석 평가에만 의존한다.
• 표준 제품 공간 재구성 방식을 피하는 다중 블록 ADMM의 확장판이 제안되며, 수렴성이 입증된다.
• 행렬 분해 문제에 대한 수치 실험 결과, 제안된 다중 블록 ADMM는 솔루션 품질 측면에서 기존 방법(예: ASALM)과 유사한 성능을 보이며, 반복당 수렴 속도는 다소 느릴 수 있음을 보여준다.