[논문 리뷰] On the asymptotical regularization with convex constraints for inverse problems

Min Zhong, Wei Wang|arXiv (Cornell University)|2021. 10. 07.

Numerical methods in inverse problems참고 문헌 39인용 수 4

한 줄 요약

이 논문은 비선형 불안정 역문제에 대해 비선형성과 볼록 제약 조건을 갖는 渐近적 정규화를 제안하며, 시간에 따라 변하는 흐름을 통해 연속적인 동역학 시스템을 이용해 해를 정규화한다. 조건부 안정성과 p-볼록성 가정 하에 수렴성과 수렴 속도를 확립하고, ODE의 룬게쿠타 이산화를 통해 새로운 반복적 방법을 유도하며, 노이즈가 있는 데이터 상황에서 수렴성이 보장된 명시적 및 암시적 랑드베르 유형의 반복적 방법을 포함한다.

ABSTRACT

In this paper, we consider the asymptotical regularization with convex constraints for nonlinear ill-posed problems. The method allows to use non-smooth penalty terms, including the L1-like and the total variation-like penalty functionals, which are significant in reconstructing special features of solutions such as sparsity and piecewise constancy. Under certain conditions we give convergence properties of the methods. Moreover, we propose Runge-Kutta type methods to discrete the initial value problems to construct new type iterative regularization methods.

연구 동기 및 목표

• L1 및 총 변동성과 같은 부드럽지 않은 펜alties를 갖는 비선형 역문제에 대해 연속적인 정규화 프레임워크를 개발한다.
• 볼록성과 조건부 안정성 가정 하에 渐近적 정규화 방법의 수렴성을 확립한다.
• 프레셰 도함수의 리프시츠 연속성과 헬더 유형의 조건부 안정성 하에 수렴 속도를 유도한다.
• 연속적인 정규화 흐름의 이산적 동반자로 룬게쿠타 유형의 반복적 방법을 제안한다.
• 정규화 매개변수(정지 시간 T)가 노이즈가 있는 데이터 상황에서 안정성과 해 수렴성을 보장하도록 불일치 원칙에 의해 선택된다.

제안 방법

• 첫 번째 차수의 ODE 시스템으로 渐近적 정규화를 수식화한다: dξδ/dt = -L(xδ(t))* (F(xδ(t)) - yδ), 여기서 xδ(t) = ∇Θ*(ξδ(t)) 이고, 초기 조건은 (ξδ(0), xδ(0)) = (ξ0, ∇Θ*(ξ0))이다.
• 해 갱신을 하위도함수를 통해 정의하기 위해 레전드르-펜클의 쌍대 함수 Θ*를 사용하여 L1 및 총 변동성과 같은 비연속 페널티를 가능하게 한다.
• 페널티 기능 Θ에 대해 p-볼록성을 도입하여 Θ*의 강한 볼록성과 프레셰 미분 가능성을 보장함으로써 안정성 및 수렴 분석을 가능하게 한다.
• 접선콘 조건과 조건부 안정성(헬더 유형)을 적용하여 브레그만 거리의 관점에서 수렴 속도를 도출한다.
• s단계의 룬게쿠타 방법을 사용해 ODE를 이산화하여 명시적 및 암시적 랑드베르 유형 반복 스킴과 같은 반복적 방법을 도출한다.
• 연산자 G(ξ) = F′(∇Θ*(ξ))* (yδ - F(∇Θ*(ξ)))의 국소 리프시츠 연속성 하에 이산화 스킴이 연속 해로 수렴함을 유도한다.

실험 결과

연구 질문

• RQ1 비선형 역문제에 대해 L1, 총 변동성과 같은 비연속 페널티를 갖는 渐近적 정규화가 엄밀하게 분석될 수 있는가?
• RQ2 노이즈가 있는 데이터 상황에서 조건부 안정성 가정 하에 연속 정규화 경로가 역문제의 해로 수렴하는 데 필요한 조건은 무엇인가?
• RQ3 소스 조건 대신 조건부 안정성 가정 하에 수렴 속도를 어떻게 도출할 수 있는가?
• RQ4 룬게쿠타 방법을 사용해 연속 ODE로부터 안정적이고 수렴하는 반복적 정규화 스킴을 구성할 수 있는가?
• RQ5 정규화 과정에서 정지 시간 T의 역할은 무엇이며, 최적의 수렴을 위해 어떻게 선택되어야 하는가?

주요 결과

• Θ의 약한 하부연속성과 p-볼록성 조건 하에 T → ∞ 일 때, asymptotical regularization ODE의 해 xδ(T)는 B2ρ(x0) 내에서 역문제의 해로 수렴한다.
• 조건부 안정성 가정 DξΘ(x, x̄) ≤ RF ||F(x) - F(x̄)||ν (ν ∈ [p/2, p]) 하에, 브레그만 거리 Dδ_ξδ(T*)Θ( x̄, xδ(T*)) ≤ RF(τ + 1)^ν δ^ν 가 확립되며, 이는 수렴 속도를 제공한다.
• 수렴 속도는 O(δ^ν)이며, ν ≥ p/2 이고, 더 강한 볼록성(더 큰 p)과 더 나은 안정성 상수에 따라 향상된다.
• ODE의 룬게쿠타 이산화로부터 명시적 및 암시적 랑드베르 유형의 반복적 정규화 방법이 새로운 것으로 도출된다.
• 연산자 G(ξ) = F′(∇Θ*(ξ))* (yδ - F(∇Θ*(ξ)))의 국소 리프시츠 연속성 하에 ODE의 해가 존재하고 유일함이 보장된다.
• 연속 해 xδ(t)와 잔차 ||F(xδ(t)) - yδ||는 t에 대해 연속적이며, 이는 정규화 경로의 안정성과 잘 정의됨을 보장한다.