[논문 리뷰] A Three-Operator Splitting Scheme and its Optimization Applications

Damek Davis, Wotao Yin|arXiv (Cornell University)|2015. 04. 04.

Sparse and Compressive Sensing Techniques참고 문헌 10인용 수 42

한 줄 요약

이 논문은 코코어시브한 연산자를 포함한 세 개의 연산자를 다루는 단조 포함 문제를 해결하기 위한 새로운 세 연산자 분할 기법을 제안한다. 이 기법은 기계 학습, 영상 처리, 신호 처리 등 다양한 최적화 문제에 효율적으로 적용 가능하며, 수렴 보장을 제공한다. 이 기법은 프론트워드-백워드, 도울라스-래프슨, 프론트워드-도울라스-래프슨 방법을 일반화하며, 수렴 보장이 있는 단순한 알고리즘을 제공하고, 세 블록 ADMM 확장에 대해 처음으로 일반적인 수렴 결과를 도출한다.

ABSTRACT

Operator splitting schemes have been successfully used in computational sciences to reduce complex problems into a series of simpler subproblems. Since 1950s, these schemes have been widely used to solve problems in PDE and control. Recently, large-scale optimization problems in machine learning, signal processing, and imaging have created a resurgence of interest in operator-splitting based algorithms because they often have simple descriptions, are easy to code, and have (nearly) state-of-the-art performance for large-scale optimization problems. Although operator splitting techniques were introduced over 60 years ago, their importance has significantly increased in the past decade. This paper introduces a new operator-splitting scheme for solving a variety of problems that are reduced to a monotone inclusion of three operators, one of which is cocoercive. Our scheme is very simple, and it does not reduce to any existing splitting schemes. Our scheme recovers the existing forward-backward, Douglas-Rachford, and forward-Douglas-Rachford splitting schemes as special cases. Our new splitting scheme leads to a set of new and simple algorithms for a variety of other problems, including the 3-set split feasibility problems, 3-objective minimization problems, and doubly and multiple regularization problems, as well as the simplest extension of the classic ADMM from 2 to 3 blocks of variables. In addition to the basic scheme, we introduce several modifications and enhancements that can improve the convergence rate in practice, including an acceleration that achieves the optimal rate of convergence for strongly monotone inclusions. Finally, we evaluate the algorithm on several applications.

연구 동기 및 목표

• 기계 학습, 신호 처리, 영상 처리 분야에서 대규모 최적화 문제를 해결하기 위한 효율적이고 확장 가능한 알고리즘의 필요성을 해결한다.
• 기존의 프론트워드-백워드 및 도울라스-래프슨 방법을 일반화하는 세 연산자 단조 포함 문제를 위한 새로운 연산자 분할 프레임워크를 개발한다.
• 코코어시브 연산자를 포함한 문제를 다룰 수 있는 통합적이고 단순한 알고리즘 아키텍처를 제공한다. 이는 3세트 분리 가능 문제, 이중 정규화 문제, 3목적 최소화 문제를 포함한다.
• 기존의 두 블록 ADMM을 세 블록으로 확장하여 일반적인 수렴 결과를 도출함으로써 이전의 세 블록 ADMM 변종의 한계를 극복한다.
• 강한 단조 포함 문제에 대해 최적의 수렴 속도를 달성하기 위해 가속 기법을 적용한다.

제안 방법

• 두 개의 단조 연산자와 코코어시브 연산자를 포함한 고정점 연산자 T를 통해 정의된 새로운 분할 기법을 제안한다.
• 반복식을 $ z^{k+1} = (1 - \lambda_k)z^k + \lambda_k T z^k $ 로 정의하며, 여기서 $ T = I - J_{\gamma B} + J_{\gamma A} \circ (2J_{\gamma B} - I - \gamma C \circ J_{\gamma B}) $ 이고, $ \gamma \in (0, 2\beta) $ 이다.
• T가 평균화되어 있고, T의 고정점이 단조 포함 문제 $ 0 \in Ax + Bx + Cx $ 의 해와 대응됨을 보여줌으로써 수렴을 보장한다.
• 수렴 성능을 향상시키기 위해 이완 매개변수 $ \lambda_k \in (0, (4\beta - \gamma)/(2\beta)) $ 를 도입한다.
• 이 기법을 적용하여 3세트 분리 가능 문제, 3목적 최소화 문제, 이중 정규화 문제에 대한 새로운 알고리즘을 유도한다.
• 강화된 변종을 제안하여 강한 단조 포함 문제에 대해 최적의 $ O(1/k^2) $ 수렴 속도를 달성한다.

실험 결과

연구 질문

• RQ1 세 연산자 단조 포함 문제를 위한 기존의 분할 방법을 통합하고 일반화할 수 있는 새로운 연산자 분할 기법을 개발할 수 있는가?
• RQ2 코코어시브 연산자의 존재를 어떻게 활용하여 기존의 세 연산자 기법보다 더 단순하고 효율적인 알고리즘을 설계할 수 있는가?
• RQ3 제안된 기법을 사용하여 세 블록 ADMM 확장에 대해 처음으로 일반적인 수렴 결과를 도출할 수 있는가?
• RQ4 제안된 기법의 수렴 속도는 무엇이며, 강한 단조 포함 문제에 대해 최적의 속도를 달성하기 위해 가속화할 수 있는가?
• RQ5 이 기법은 분리 가능 문제 및 이중 정규화 최적화와 같은 실제 문제에 얼마나 널리 적용될 수 있는가?

주요 결과

• 제안된 세 연산자 분할 기법은 프론트워드-백워드, 도울라스-래프슨, 프론트워드-도울라스-래프슨 기법을 특수한 경우로 포함한다.
• C가 코코어시브일 경우, 표준 가정 하에 단조 포함 문제 $ 0 \in Ax + Bx + Cx $ 에 대해 수렴 보장이 있다.
• 이 기법은 이전 문헌에서 부족했던 세 블록 ADMM에 대해 새로운 단순하고 일반적인 수렴 결과를 도출한다.
• 강화된 변종 알고리즘은 강한 단조 포함 문제에 대해 최적의 $ O(1/k^2) $ 수렴 속도를 달성한다.
• 일부 매개변수 조합에서는 알고리즘이 임의로 느리게 수렴할 수 있으며, 이는 최악의 경우 수렴 속도가 날카로운 상한임을 보여준다.
• 분리 가능 문제 및 이중 정규화 문제에 대한 수치 실험을 통해 제안된 방법의 실용적 효율성과 단순성을 확인한다.