[논문 리뷰] Variable Projection Methods for Solving Regularized Separable Inverse Problems with Applications to Semi-Blind Image Deblurring

Delfina B. Comerso Salzer, Malena I. Español외 1명|arXiv (Cornell University)|2026. 01. 08.

Advanced Image Processing Techniques인용 수 0

한 줄 요약

이 논문은 Variable Projection (VarPro)을 규칙화된 분리형 비선형 최소자승 문제에 확장하고, 준-뉴턴 축소 문제 해법기를 개발하며, 매개변수 정규화를 갖는 세미블라인드 이미지 디블러링에 이를 적용한다.

ABSTRACT

Separable nonlinear least squares problems appear in many inverse problems, including semi-blind image deblurring. The variable projection (VarPro) method provides an efficient approach for solving such problems by eliminating linear variables and reducing the problem to a smaller, nonlinear one. In this work, we extend VarPro to solve minimization problems containing a differentiable regularization term on the nonlinear parameters, along with a general-form Tikhonov regularization term on the linear variables. Furthermore, we develop a quasi-Newton method for solving the resulting reduced problem, and provide a local convergence analysis under standard smoothness assumptions, establishing conditions for superlinear or quadratic convergence. For large-scale settings, we introduce an inexact LSQR-based variant and prove its local convergence despite inner-solve and Hessian approximations. Numerical experiments on semi-blind deblurring show that parameter regularization prevents degenerate no-blur solutions and that the proposed methods achieve accurate reconstructions, with the inexact variant offering a favorable accuracy-cost tradeoff consistent with the theory.

연구 동기 및 목표

• 무블러(no-blur) 해를 피하기 위한 세미-블라인드/디블러링에서 매개변수 정규화의 필요성을 동기화한다.
• 비선형 매개변수에 미분가능한 정규화를 두고 선형 변수에 일반형 티히노 항을 두는 RSNLS를 수식화한다.
• VarPro를 RSNLS에 확장하고 축소 문제 형식을 도출한다.
• 로컬 수렴 보장을 갖는 준-뉴턴 방법(RGenVarPro)을 개발한다.
• 대규모 문제를 위한 근사 LSQR 기반 변형(iRGenVarPro)을 제안하고 수렴성을 증명한다.]
• method:
• Represent the forward operator as a differentiable map A(y) depending on a small parameter vector y.
• Formulate the regularized separable nonlinear least squares (RSNLS) problem with F(x,y)=1/2||K(y)x-d||^2+R(y), where K(y)=[A(y); λL] and d=[b;0].
• Use a variable projection to eliminate x by x(y)=K(y)†d and reduce to φ(y)=1/2||f(y)||^2+R(y) with f(y)=-P_{K(y)}⊥ d.
• Derive gradients ∇φ(y) and Jacobian J_f(y) enabling a quasi-Newton update y^{k+1}=y^{k}-H(y^{k})^{-1}∇φ(y^{k}) where H(y)=J_f(y)^T J_f(y)+∇^2R(y).
• Prove local convergence of RGenVarPro under Lipschitz continuity and convexity assumptions, and establish an inexact LSQR-based variant iRGenVarPro for large-scale problems with convergence guarantees.

제안 방법

• 전방 연산자 A(y)를 작은 매개변수 벡터 y에 의존하는 미분가능한 맵으로 표현한다.
• F(x,y)=1/2||K(y)x-d||^2+R(y) 형태의 규칙화된 분리형 비선형 최소제곱(RSNLS) 문제를 정의한다, 여기에 K(y)=[A(y); λL] 및 d=[b;0].
• 변수 투영을 사용하여 x를 x(y)=K(y)†d로 제거하고 φ(y)=1/2||f(y)||^2+R(y)로 축소한다. 여기서 f(y)=-P_{K(y)}⊥ d.
• 그래프? 도출 gradients ∇φ(y)와 야코비안 J_f(y)를 도출하여 준-뉴턴 업데이트 y^{k+1}=y^{k}-H(y^{k})^{-1}∇φ(y^{k})를 가능하게 한다. 여기서 H(y)=J_f(y)^T J_f(y)+∇^2R(y).
• 리프시츠 연속성(lipschitz continuity)과 볼록성 가정하에서 RGenVarPro의 국소 수렴을 입증하고, 대규모 문제에 대해 수렴 보장을 갖는 근사 LSQR 기반 변형 iRGenVarPro를 확립한다.

실험 결과

연구 질문

• RQ1 비선형 매개변수 y에 대한 정규화가 세미-블라인드 디블러링 해의 안정성 및 식별 가능성에 어떤 영향을 미치는가?
• RQ2 VarPro를 RSNLS로 확장하여 y에 대한 미분가능한 정규화와 x에 대한 티히노 항을 포함시킬 수 있는가?
• RQ3 축소된 RSNLS 문제에 대한 준-뉴턴 해법의 수렴 특성은 무엇이며, 내부 해법이 수렴에 어떤 영향을 미치는가?
• RQ4 근사 LSQR 기반 변형이 큰 규모의 RSNLS 문제에 대해 국소 수렴을 유지하는가?
• RQ5 제안된 방법이 재구성 정확도 및 퇴화된 해를 피하는 측면에서 세미-블라인드 이미지 디블러링 작업에서 어떤 성능을 보이는가?

주요 결과

• y에 대한 정규화는 퇴화된 무블러(no-blur) 해를 방지하고 의미 있는 재구성을 가능하게 한다.
• 축소된 문제 φ(y)는 원래 RSNLS 문제의 해에 해당하는 글로벌 최적점을 정확히 식별한다.
• RGenVarPro 방법은 표준 매끈함 가정과 볼록 정규화 하에서 국소 수렴을 달성한다.
• 근사 iRGenVarPro 변형은 수렴을 유지하면서 정확도-비용의 우호적 거래를 제공한다.
• 세미-블라인드 디블러링에 대한 수치 실험은 이론적 결과를 검증하고 매개변수 정규화의 이점을 보여준다.