[논문 리뷰] On the linear convergence rates of exchange and continuous methods for total variation minimization

Axel Flinth, Frédéric de Gournay외 1명|arXiv (Cornell University)|2019. 06. 24.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 32

한 줄 요약

이 논문은 Radon 측정값에 대한 전체 변동(TV) 정규화 역문제에 대한 교환 알고리즘을 분석하고, 규칙성 하에서 결국 선형 수렴을 보이며, 질량과 위치를 연속적으로 최적화하는 경우에도 선형 수렴을 보이고, 두 접근법의 장점을 결합하는 교대식 스킴을 제시한다.

ABSTRACT

We analyze an exchange algorithm for the numerical solution total-variation regularized inverse problems over the space M($\\Omega$) of Radon measures on a subset $\\Omega$ of R d. Our main result states that under some regularity conditions, the method eventually converges linearly. Additionally, we prove that continuously optimizing the amplitudes of positions of the target measure will succeed at a linear rate with a good initialization. Finally, we propose to combine the two approaches into an alternating method and discuss the comparative advantages of this approach.

연구 동기 및 목표

• Radon 측정값에 대한 무한 차원 TV 최소화 문제를 동기 부여하고 분석한다.
• 규칙성 가정 하에서 교환 알고리즘의 수렴 속도를 포함한 수렴 속도를 확립한다.
• Dirac 질량의 진폭과 위치의 그래디언트 기반 연속 최적화에 대해 선형 수렴을 보인다.
• 두 접근의 강점을 결합한 교환-연속 전략을 제안하고 논의한다.
• 1D 및 2D TV 문제에서 결과를 설명한다.

제안 방법

• ∞ 차원 문제를 inf_{μ∈M(Ω)} ||μ||_M + f(Aμ) 형태로 형식화하고 A: M(Ω) → R^m 및 f를 볼록으로 설정한다.
• Ω를 격자 Ω_k로 이산화하고 Ω_{k+1} = Ω_k ∪ X_k로 업데이트하는 교환 알고리즘을 사용하며, X_k는 |A^* q_k|가 1을 초과하는 국부 극대화점으로 구성된다.
• 주어진 가정 이하의 강한 이중성으로 μ^*, q^*를 A^* q^* ∈ ∂||μ^*||_M 및 -q^* ∈ ∂ f(A μ^*)로 연결한다.
• f의 도함수가 리플리시티한 기울기로 미분 가능하다는 일반적인 수렴 결과를 제공하고(또는 적합한 대안을 제시), 부분열이 원시-이중해결로 수렴하며 고유성은 전체 수열의 수렴을 보장한다.
• 비퇴화된 소스 조건을 다루기 위해 가정 5–6을 도입하고, 이중 인증서가 비퇴화일 때 교환 스킴에 대해 선형 수렴 속도를 도출한다.
• 격자화 거리와 이중 변수 및 목적함수 간의 관계를 연결하는 보조 한계 및 보조 보조정리를 제시한다。

실험 결과

연구 질문

• RQ1 Radon 측정값에 대한 TV 최소화의 교환 알고리즘이 무한 차원 문제의 해로 수렴하는가?
• RQ2 비퇴화된 듀얼 인증서를 가정할 때 교환 알고리즘은 선형 수렴을 보이며, 이산화 거리(D) 가 수렴에 어떤 영향을 미치는가?
• RQ3 Dirac 질량의 위치와 진폭에 대한 그래디언트 기반 연속 최적화가 실제 희소 측정값으로의 선형 수렴을 달성할 수 있는가?
• RQ4 교환-연속 방법의 교대가 수렴 보장을 상속하고 실용적 효율성을 제공하는가?
• RQ5 1D 및 2D 신호처리 맥락에서 TV 정규화 문제에 결과가 어떻게 확장되는가?

주요 결과

• 교환 알고리즘은 가벼운 가정 하에 부분열이 원시-이중해결로 수렴하고, 목적값도 함께 수렴한다.
• 듀얼 인증서에 대한 비퇴화 소스 조건이 성립하면 X_k의 활성 지지점 집합이 차수까지 안정화되고 비용이 선형으로 수축한다.
• (α, x) 쌍에 대한 잘 초기화된 경사 하강법은 μ^*로 선형 수렴하고, 명시적 진입 구간이 기술된다.
• 교환 단계와 연속 최적화 사이의 교대는 전역 수렴 보장과 1차 방법의 효율성을 함께 제공할 수 있다.
• 1D 및 2D에서 TV 최소화에 대한 결과를 설명하고, 제곱 적합도 항에 중점을 둔다.
• 분석은 이중 문제를 통해 반무한 계획 문제와 연결되며, 듀얼 인증서가 수렴 거동을 지배하는 방식을 보여준다.