[논문 리뷰] A primal-dual splitting algorithm for finding zeros of sums of maximally monotone operators

Radu Ioan Boţ, Ernö Robert Csetnek외 1명|arXiv (Cornell University)|2012. 06. 26.

Numerical methods in inverse problems참고 문헌 20인용 수 7

한 줄 요약

이 논문은 최대 미분 가능 연산자들의 합의 영을 찾기 위한 원시-이중 분할 알고리즘을 제안한다. 이는 선형 연속 연산자와의 복합을 포함하며, 관련된 연산자의 해석기를 별도로 활용한다. 이 방법은 유한 차원 힐버트 공간에서 수렴성을 확보하며, 고전적 및 최근의 반복적 방법에 비해 영상 처리 및 페르마-우버 문제 해결에서 뛰어난 성능을 보인다.

ABSTRACT

We consider the primal problem of finding the zeros of the sum of a maximally monotone operator with the composition of another maximally monotone operator with a linear continuous operator and a corresponding dual problem formulated by means of the inverse operators. A primal-dual splitting algorithm which simultaneously solves the two problems in finite-dimensional spaces is presented. The scheme uses at each iteration separately the resolvents of the maximally monotone operators involved and it gives rise to a splitting algorithm for finding the zeros of the sum of compositions of maximally monotone operators with linear continuous operators. The iterative schemes are used for solving nondifferentiable convex optimization problems arising in image processing and in location theory.

연구 동기 및 목표

• 원시 포함 문제와 그 아틀라크-테라 유형의 이중 문제를 동시에 해결할 수 있는 원시-이중 분할 알고리즘을 개발한다.
• 프론트워드-백워드 및 셰츠의 알고리즘과 같은 고전적 분할 방법의 제약 조건이 까다로운 연산자에 대한 제약을 극복한다.
• 복합 연산자의 해석기를 계산할 필요 없이, 최대 미분 가능 연산자의 해석기를 별도로 사용하는 방법을 제공한다.
• 최대 미분 가능 연산자와 선형 연속 연산자의 복합의 합을 다룰 수 있도록 알고리즘을 확장한다.
• 영상 복원, 노이즈 제거 및 위치 이론 분야의 비가속성 볼록 최적화 문제에 이 방법을 적용한다.

제안 방법

• 알고리즘은 유한 차원 힐버트 공간에서 수립되며, 다음 포함 문제를 해결한다: $ x \in X $ 를 찾기 위해 $ 0 \in Ax + K^*BKx $ 를 만족시키는 조건을 갖는다. 여기서 $ A $ 와 $ B $ 는 최대 미분 가능하고 $ K $ 는 선형 연속이다.
• 각 반복 단계에서 $ A $ 와 $ B $ 의 해석기를 별도로 활용하여, $ K^*BK $ 의 해석기를 계산할 필요 없이 처리한다. 이는 종종 해석이 불가능한 경우가 많다.
• 이중 문제는 역연산자를 통해 수립되며, 알고리즘은 원시 및 이중 포함 문제를 동시에 해결한다.
• 제품 공간 접근법을 사용하여 알고리즘을 유도하며, 최대 미분 가능성과 연속성에 대한 표준 가정 하에 수렴성을 확립한다.
• 합의 복합 형태의 경우, 추가적인 이중 변수를 도입하여 문제를 재정의하고 동일한 분할 전략을 적용함으로써 알고리즘을 확장한다.
• 해당 방법은 서브디퍼런셜 포함 문제에 적용되며, $ A $ 와 $ B $ 가 적절하고 볼록적이며 하향 연속적인 함수의 서브디퍼런셜일 경우 기존의 원시-이중 알고리즘을 특수한 경우로 복원한다.

실험 결과

연구 질문

• RQ1 복합 연산자의 해석기를 요구하지 않고, 개별 최대 미분 가능 연산자의 해석기를 별도로 활용할 수 있는 원시-이중 분할 알고리즘을 개발할 수 있는가?
• RQ2 아틀라크-테라 이중성 프레임워크를 어떻게 활용하여 원시 및 이중 포함 문제를 동시에 해결할 수 있는 방법을 설계할 수 있는가?
• RQ3 최대 미분 가능성과 선형 연속성의 표준 가정 하에 이러한 방법의 수렴 성질은 어떠한가?
• RQ4 이 알고리즘은 최대 미분 가능 연산자와 선형 연산자의 복합의 합을 다룰 수 있도록 확장될 수 있는가?
• RQ5 영상 처리 및 위치 이론 적용 분야에서 이 알고리즘이 고전적 및 최근의 방법에 비해 성능 면에서 어떻게 비교되는가?

주요 결과

• 페르마-우버 문제에서 점 $ c_1=(59,0), c_2=(20,0), c_3=(-20,48), c_4=(-20,-48) $ 를 대상으로 30회 반복 후 알고리즘 19는 세 자리 소수까지 최적의 해를 확보하였으며, Grad, Nest, FaMSA-s 보다 뛰어난 성능을 보였다.
• 원거리 점 $ c_5=(100,100) $ 이 포함된 도전적인 케이스에서는, 위즈펠 알고리즘과 [16]에서 제안한 스무딩 기반 방법들이 수백만 회 반복 동안 수렴하지 못했지만, 알고리즘 19는 478회 반복 내에 최적 정확도에 도달하였다.
• 최적 점이 데이터 점과 일치하는 경우와 같은 특이점 및 불안정 문제를 다룰 때도 알고리즘이 강건함을 입증하였다.
• 영상 복원 및 노이즈 제거 문제에서, 알고리즘은 선형 연산자와의 복합 함수를 포함하는 비가속성 볼록 최적화 문제를 효율적으로 해결하였다.
• 해당 방법은 연산자가 볼록 함수의 서브디퍼런셜일 경우 기존의 알려진 원시-이중 알고리즘을 특수한 경우로 복원하는 통합 프레임워크를 제공한다.
• 표준 가정 하에 알고리즘의 수렴성이 보장되며, 별도의 해석기 평가 덕분에 반복적 절차가 계산적으로 효율적이다.