[논문 리뷰] A Generalization of the Chambolle-Pock Algorithm to Banach Spaces with Applications to Inverse Problems

Thorsten Hohage, C. Homann|arXiv (Cornell University)|2014. 11. 29.

Numerical methods in inverse problems참고 문헌 33인용 수 13

한 줄 요약

이 논문은 반사적이고 2-볼록적이며 2-매끄러운 바나흐 공간으로 채플레-포크 원시-이중 알고리즘을 일반화하여, 티코노프 정규화 또는 반복적으로 정규화된 뉴턴 방법을 통해 악조건의 역문제를 효율적으로 해결할 수 있도록 한다. 이 방법은 일반화된 볼록성 조건 하에서 강수렴과 수렴 속도를 보장하며, 폐쇄형 리졸베ント을 제공하고 힐버트 공간 변형보다 수치 실험에서 더 빠른 수렴을 보인다.

ABSTRACT

For a Hilbert space setting Chambolle and Pock introduced an attractive first-order algorithm which solves a convex optimization problem and its Fenchel dual simultaneously. We present a generalization of this algorithm to Banach spaces. Moreover, under certain conditions we prove strong convergence as well as convergence rates. Due to the generalization the method becomes efficiently applicable for a wider class of problems. This fact makes it particularly interesting for solving ill-posed inverse problems on Banach spaces by Tikhonov regularization or the iteratively regularized Newton-type method, respectively.

연구 동기 및 목표

• 히르베르트 공간에서 반사적이고 2-볼록적이며 2-매끄러운 바나흐 공간으로 채플레-포크 원시-이중 알고리즘을 확장한다.
• 일반화된 볼록성 조건 하에서 일반화된 알고리즘의 강수렴과 수렴 속도를 확립한다.
• 바나흐 공간에서 티코노프 정규화 또는 반복적으로 정규화된 뉴턴 방법을 사용하여 악조건의 역문제를 효율적으로 해결할 수 있도록 한다.
• 리졸베ント에 대한 폐쇄형 표현식을 유도하여 계산 효율성을 향상시킨다.
• 희소 복원 및 위상 복원 문제에 대한 수치 실험에서 더 빠른 수렴과 향상된 타당성을 입증한다.

제안 방법

• 히르베르트 공간 노름을 쌍대성 사상과 일반화된 리졸베ント으로 대체하여 채플레-포크 알고리즘을 바나흐 공간으로 일반화한다.
• 쌍대성 사상 $ J_X $ 와 $ J_Y $ 를 사용하여 일반화된 리졸베ント $ (\sigma \partial g^* + J_Y)^{-1} $ 과 $ (\tau \partial f + J_X)^{-1} $ 를 정의하며, 매끄러운 바나흐 공간에서 단일값성을 보장한다.
• 원시 문제 $ \min_x g(Tx) + f(x) $ 와 그 펜체르 이중 문제를 동시에 해결하기 위해 알고리즘을 적용하며, 이중 변수 $ p_k $, 원시 변수 $ x_k $, 외삽 $ \hat{x}_k $ 의 갱신을 수행한다.
• 일반화된 볼록성 성질에 기반한 매개변수 선택 규칙(CP-BS1, CP-BS2, CP-BS3)을 사용하여 수렴성과 수렴 속도를 보장한다.
• 포isson 분포 데이터를 위해 가중치 $ W = (T(x_n) + \epsilon)^{-1} $ 를 가진 가중 $ L^2 $ 공간을 사용하여 효율적인 프록시 계산을 가능하게 한다.
• 바나흐 공간에서 $ l^r $ 와 $ H^{1,r} $ 공간에 대한 리졸베ント에 대한 폐쇄형 표현식을 유도하여 수치 구현에서의 빠른 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 일반화된 볼록성 조건 하에서 강수렴과 수렴 속도를 유지하면서 채플레-포크 알고리즘을 바나흐 공간으로 일반화할 수 있는가?
• RQ2 함수 $ f $ 와 $ g^* $ 에 어떤 조건이 성립해야 바나흐 공간에서 수렴성과 수렴 속도가 보장되는가?
• RQ3 바나흐 공간에서의 일반화된 리졸베ント은 힐버트 공간의 대응체와 비교해 계산 효율성이 어떻게 다른가?
• RQ4 일반화된 알고리즘이 $ l^r $ 또는 $ H^{1,r} $ 공간에서의 역문제 해결에서 표준 채플레-포크 알고리즘보다 수렴 속도가 더 빠를 수 있는가?
• RQ5 가중 $ l^2 $ 공간을 사용하면 포isson 분포 역문제에서 수렴 속도가 향상되는가?

주요 결과

• 적절한 매개변수 선택 규칙 하에서 일반화된 채플레-포크 알고리즘은 반사적이고 2-볼록적이며 2-매끄러운 바나흐 공간에서 강수렴을 달성한다.
• 함수 $ f $ 와 $ g^* $ 가 일반화된 볼록성 조건을 만족할 경우, 힐버트 공간에서의 결과를 확장하여 수렴 속도를 확립한다.
• $ l^r $ 와 $ H^{1,r} $ 공간에서 리졸베ント에 대한 폐쇄형 표현식을 도출하여 반복적 해법 없이도 효율적인 계산을 가능하게 한다.
• 수치 실험 결과, 표준 $ l^2 $ 설정 대비 $ l^{1.5} $ 와 $ H^{1,1.1} $ 공간에서 더 빠른 수렴이 관찰되었으며, 한 예에서는 558회 반복으로 충분했고, 표준 $ l^2 $ 설정에선 15,000회가 필요했다.
• 최적의 $ \tau, \sigma $ 를 가진 CP-BS1 변형이 가장 빠른 수렴을 보였으며, CP-BS2 는 큰 $ \tau_0 $ 와 적절한 $ \gamma $ 를 가질 경우 더 빠른 수렴을 보였다.
• 포isson 데이터의 경우, $ W = (T(x_n) + \epsilon)^{-1} $ 를 사용한 가중 $ l^2_W $ 공간을 사용할 경우, 비가중 $ l^2 $ 에 비해 수렴 속도가 향상되었다.