[논문 리뷰] Maximum likelihood estimation of regularisation parameters in high-dimensional inverse problems: an empirical Bayesian approach

Ana F. Vidal, Valentin De Bortoli외 2명|arXiv (Cornell University)|2019. 11. 26.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 고차원 역문제에서 정규화 파라미터의 최대우도 추정을 위한 경험베이지안 방법을 제안하며, 두 개의 프록시멀 MCMC 샘플러에 의해 구동되는 확률적 프록시멀 경사하강 알고리즘을 사용한다. 이 방법은 데이터로부터 직접 다중 정규화 파라미터를 효율적으로 校정함으로써, 노이즈 제거, 디컨볼루션, 언믹싱과 같은 영상 작업 전반에서 강인한 성능을 달성하며 이론적 수렴 보장을 제공한다.

ABSTRACT

Many imaging problems require solving an inverse problem that is ill-conditioned or ill-posed. Imaging methods typically address this difficulty by regularising the estimation problem to make it well-posed. This often requires setting the value of the so-called regularisation parameters that control the amount of regularisation enforced. These parameters are notoriously difficult to set a priori, and can have a dramatic impact on the recovered estimates. In this paper, we propose a general empirical Bayesian method for setting regularisation parameters in imaging problems that are convex w.r.t. the unknown image. Our method calibrates regularisation parameters directly from the observed data by maximum marginal likelihood estimation, and can simultaneously estimate multiple regularisation parameters. A main novelty is that this maximum marginal likelihood estimation problem is efficiently solved by using a stochastic proximal gradient algorithm that is driven by two proximal Markov chain Monte Carlo samplers. Furthermore, the proposed algorithm uses the same basic operators as proximal optimisation algorithms, namely gradient and proximal operators, and it is therefore straightforward to apply to problems that are currently solved by using proximal optimisation techniques. We also present a detailed theoretical analysis of the proposed methodology, including asymptotic and non-asymptotic convergence results with easily verifiable conditions, and explicit bounds on the convergence rates. The proposed methodology is demonstrated with a range of experiments and comparisons with alternative approaches from the literature. The considered experiments include image denoising, non-blind image deconvolution, and hyperspectral unmixing, using synthesis and analysis priors involving the L1, total-variation, total-variation and L1, and total-generalised-variation pseudo-norms.

연구 동기 및 목표

• 잘 정의되지 않은 영상 역문제에서 정규화 파라미터를 사전에 설정하는 문제에 대응하기 위해.
• 최대 마진 우도 추정을 사용하여 데이터 기반으로 정규화 파라미터를 校정하는 방법을 개발하기 위해.
• 볼록 영상 문제에서 다중 정규화 파라미터를 동시에 추정할 수 있도록 하기 위해.
• 추정 절차의 이론적 수렴을 보장하고 검증 가능한 조건을 제공하기 위해.
• 기존 프록시멀 최적화 연산자들과 호환되는 실용적이고 즉시 사용 가능한 프레임워크를 제공하기 위해.

제안 방법

• 이 방법은 관측된 데이터로부터 정규화 파라미터를 추론하기 위해 최대 마진 우도 추정을 사용한다.
• 마진 우도 적분을 근사하기 위해 두 개의 프록시멀 마르코프 체인 몬테카를로 샘플러를 사용한다.
• 확률적 프록시멀 경사하강 알고리즘이 최적화를 구동하며, 기울기 연산자와 프록시멀 연산자를 통합한다.
• 알고리즘은 기존 최적화 프레임워크에서 사용하는 표준 프록시멀 연산자를 재사용하도록 설계되어 있다.
• 이 방법은 L1, 총 변동, 총 일반화된 변동 노름으로 정규화된 문제에 적용 가능하다.
• 이론적 분석에는 점점 수렴하는 결과와 비점점 수렴 결과가 포함되며, 명시적인 수렴 속도 경계가 제공된다.

실험 결과

연구 질문

• RQ1 고차원 역문제에서 경험베이지안을 사용해 데이터로부터 정규화 파라미터를 효과적으로 추정할 수 있는가?
• RQ2 볼록 영상 프레임워크에서 다중 정규화 파라미터를 동시에 校정할 수 있는가?
• RQ3 프록시멀 MCMC 샘플링을 통한 확률적 프록시멀 경사하강 알고리즘이 효율적이고 수렴 가능한 파라미터 추정을 달성할 수 있는가?
• RQ4 제안된 방법의 수렴에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 다양한 영상 작업에서 기존 정규화 파라미터 선택 기법과 비교해 성능 면에서 어떻게 성과를 내는가?

주요 결과

• 제안된 방법은 이미지 노이즈 제거, 비맹렬 디컨볼루션, 고스펙트럼 언믹싱에서 최첨단 성능을 달성한다.
• 다중 정규화 파라미터를 동시에 校정함으로써 재구성 정확도가 향상된다.
• 이론적 분석을 통해 점점 수렴과 비점점 수렴이 명시적이고 검증 가능한 조건 하에 확인된다.
• 수렴 속도는 문제에 따라 특화된 파라미터에 따라 제한되며, 명시적인 표현식이 제공된다.
• 재구성 정밀도와 파라미터 선택에 대한 강건성 면에서 다른 접근법보다 뛰어나다.
• 프레임워크는 표준 프록시멀 최적화 도구와 직접 호환되어 기존 영상 파ip라인에 쉽게 통합될 수 있다.