[논문 리뷰] Convergence of the alternating split Bregman algorithm in infinite-dimensional Hilbert spaces

Amir Moradifam, Adrian Nachman|arXiv (Cornell University)|2011. 12. 08.

Numerical methods in inverse problems참고 문헌 22인용 수 5

한 줄 요약

이 논문은 유계 선형 연산자와 적절하고 볼록이며 하부연속 함수를 포함하는 볼록 최소화 문제를 해결하기 위해 무한차원 힐버트 공간에서 교대 분할 브레그만 알고리즘의 약한 수렴성을 확립한다. 스바이터의 도우글라스-라흐퍼드 분할에 관한 정리와 세츠러의 분할 브레그만과 도우글라스-라흐퍼드 방법 간의 등가성에 기반하여, $L^*L$의 상연산자 성질을 가질 경우 알고리즘이 무한차원 설정에서도 잘 정의되고 수렴함을 증명한다. 또한 수렴성이 합산 가능한 오차를 갖는 근사(편향된) 반복 과정으로까지 확장된다.

ABSTRACT

We prove results on weak convergence for the alternating split Bregman algorithm in infinite dimensional Hilbert spaces. We also show convergence of an approximate split Bregman algorithm, where errors are allowed at each step of the computation. To be able to treat the infinite dimensional case, our proofs focus mostly on the dual problem. We rely on Svaiter's theorem on weak convergence of the Douglas-Rachford splitting algorithm and on the relation between the alternating split Bregman and Douglas-Rachford splitting algorithms discovered by Setzer. Our motivation for this study is to provide a convergent algorithm for weighted least gradient problems arising in the hybrid method of imaging electric conductivity from interior knowledge (obtainable by MRI) of the magnitude of one current.

연구 동기 및 목표

• 무한차원 힐버트 공간에서 교대 분할 브레그만 알고리즘의 약한 수렴성을 확립한다.
• 유한차원 설정에서의 수렴 결과를 무한차원 설정으로 확장하며, 특히 하이브리드 영상에서 발생하는 문제들을 다룬다.
• 합산 가능한 오차를 갖는 근사 최소화 단계에서 알고리즘의 안정성을 분석한다.
• 전도도 영상과 같은 대규모 무한차원 역문제에 분할 브레그만을 사용하기 위한 엄밀한 이론적 기반을 제공한다.

제안 방법

• 증명은 교대 분할 브레그만 알고리즘과 이중 문제에 적용된 도우글라스-라흐퍼드 분할 알고리즘 간의 등가성에 기반한다.
• 스바이터의 도우글라스-라흐퍼드 방법에 대한 약한 수렴성 정리를 이중 문제에 적용하여 분할 브레그만 반복의 수렴성을 유도한다.
• 무한차원 힐버트 공간을 다루기 위해 이중 문제에 초점을 맞춰 원래 문제에서 직접 최소화를 피한다.
• 잘 정의된 조건을 도출한다: $L^*L$가 상연산자이면, 각 분할 브레그만 단계의 하위문제가 유일한 최소화자를 갖는다.
• 근사 알고리즘은 최소화 단계에서 오차 $\alpha_k$와 $\beta_k$를 允허하며, $\sum (\alpha_k + \beta_k) < \infty$ 이면 수렴성이 유지된다.
• $\{d^k - Lu^{k+1}\}$의 노름에 대한 수렴이 증명되어, 한계에서 제약 조건을 만족함을 보장한다.

실험 결과

연구 질문

• RQ1 교대 분할 브레그만 알고리즘이 무한차원 힐버트 공간에서 약하게 수렴하는가?
• RQ2 교대 분할 브레그만 알고리즘이 무한차원 설정에서 잘 정의되기 위한 조건은 무엇인가?
• RQ3 합산 가능한 오차를 갖는 근사 최소화를 통해 수렴성이 유지되는가?
• RQ4 무한차원 경우에 이중 문제의 해는 분할 브레그만 반복을 통해 복원 가능한가?
• RQ5 $L^*L$의 상연산자 성질이 하위문제의 해 존재성과 유일성 보장에 어떤 역할을 하는가?

주요 결과

• 만약 $L^*L$가 상연산자이고 원래 문제 및 이중 문제에 해가 존재하면, 교대 분할 브레그만 알고리즘이 원래 문제의 해로 약하게 수렴한다.
• $\{b^k\}$와 $\{d^k\}$는 각각 $\hat{b}$와 $\hat{d}$로 약하게 수렴하며, $\lambda \hat{b}$는 이중 문제의 해가 된다.
• 제약 위반도 $\|d^k - Lu^{k+1}\|_2$는 노름에 대해 강하게 0으로 수렴하여, 한계에서 타당성이 보장된다.
• 근사 알고리즘의 경우 $\sum (\alpha_k + \beta_k) < \infty$ 이면 $\{d^k\}$와 $\{b^k\}$는 여전히 이중 문제의 해로 약하게 수렴한다.
• $L^*L$가 상연산자이면 원래 문제의 해 $\hat{u}$는 유일하고 $\{u^k\}$는 약한 클러스터 포인트를 최대 하나만 갖는다.
• 최소화자가 근사적으로 계산되더라도 오차가 합산 가능하면 수렴 결과가 유지되며, 이는 알고리즘의 강건성을 보여준다.