[논문 리뷰] Maximum likelihood estimation of regularisation parameters in high-dimensional inverse problems: an empirical Bayesian approach. Part I: Methodology and Experiments

Ana F. Vidal, Valentin De Bortoli외 2명|arXiv (Cornell University)|2019. 11. 26.

Sparse and Compressive Sensing Techniques참고 문헌 66인용 수 5

한 줄 요약

이 논문은 고차원 역영상 문제에서 다중 정규화 파rameter를 자동으로 데이터 기반으로 추정하기 위한 경험 베이지안 방법을 제안한다. 최대 마진 우도 추정을 통해 구현되며, 확률적 프록시멀 그래디언트 최적화와 프록시멀 MCMC 샘플링을 결합하여, 표준 프록시멀 알고리즘과 동일한 연산자를 활용하면서도 효율적으로 파rameter를 추정함으로써, 노이즈 제거, 블러 제거, 고분광 분해 작업에서 거의 최적의 성능을 달성한다.

ABSTRACT

Many imaging problems require solving an inverse problem that is ill-conditioned or ill-posed. Imaging methods typically address this difficulty by regularising the estimation problem to make it well-posed. This often requires setting the value of the so-called regularisation parameters that control the amount of regularisation enforced. These parameters are notoriously difficult to set a priori, and can have a dramatic impact on the recovered estimates. In this work, we propose a general empirical Bayesian method for setting regularisation parameters in imaging problems that are convex w.r.t. the unknown image. Our method calibrates regularisation parameters directly from the observed data by maximum marginal likelihood estimation, and can simultaneously estimate multiple regularisation parameters. Furthermore, the proposed algorithm uses the same basic operators as proximal optimisation algorithms, namely gradient and proximal operators, and it is therefore straightforward to apply to problems that are currently solved by using proximal optimisation techniques. Our methodology is demonstrated with a range of experiments and comparisons with alternative approaches from the literature. The considered experiments include image denoising, non-blind image deconvolution, and hyperspectral unmixing, using synthesis and analysis priors involving the L1, total-variation, total-variation and L1, and total-generalised-variation pseudo-norms. A detailed theoretical analysis of the proposed method is presented in the companion paper arXiv:2008.05793.

연구 동기 및 목표

• 비정상적인 영상 역문제에서 사전에 정규화 파arameter를 선택하는 데 오랫동안 지속된 과제를 해결하기 위해.
• 다중 정규화 파arameter를 동시에 자동으로 비지도 방식으로 추정할 수 있는 일반적이고 자동화된 방법을 개발하기 위해.
• 최신 프록시멀 최적화 및 몬테카를로 샘플링 기법을 통합하여 계산 효율성과 이론적 안정성을 확보하기 위해.
• 비드 블러 복원 및 총 일반화된 변형 정규화와 같은 다양한 영상 문제에서 본 방법의 효과성을 입증하기 위해.
• 볼록이며, 가능하면 미분 가능하지 않은 영상 문제에 적용 가능한 이론적으로 탄탄하고 확장 가능한 접근법을 제공하기 위해.

제안 방법

• 이 방법은 관측된 데이터로부터 직접 정규화 파arameter를 추론하기 위해 최대 마진 우도 추정을 사용한다.
• 이행 불가능한 마진 우도를 근사하기 위해 두 개의 프록시멀 마르코프 체인 몬테카를로(MCMC) 샘플러에 의해 구동되는 확률적 프록시멀 그래디언트 알고리즘을 사용한다.
• 알고리즘은 기울기와 프록시멀 연산자를 기반으로 하여, 기존의 프록시멀 최적화 프레임워크와의 호환성을 확보한다.
• 이 방법은 총 일반화된 변형(TGV)과 같은 이변량 케이스를 포함한 다중 정규화 파arameter를 처리하도록 설계되어 있다.
• 확인 가능한 조건 하에서 수렴성이 확립되었으며, 동반된 이론적 분석을 통해 이론적 보장을 받는다.
• ℓ₁, 총 변형, 총 일반화된 변형 정규화 사전을 포함한 문제에 적용되었으며, 효율적인 수치 구현이 이루어졌다.

실험 결과

연구 질문

• RQ1 고차원 역영상 문제에서 정규화 파arameter를 자동으로 안정적으로 추정할 수 있는 방법은 무엇인가?
• RQ2 일관된 경험 베이지안 프레임워크를 통해 볼록 영상 문제에서 다중 정규화 파arameter를 동시에 추정할 수 있는가?
• RQ3 본 방법은 SURE, L-곡선, 교차검증과 같은 기존 방법들과 비교해 추정 정확도와 안정성 측면에서 어떻게 다른가?
• RQ4 본 방법에서 제안된 확률적 프록시멀 MCMC 알고리즘이 마진 우도 최적화에 대해 가지는 이론적 수렴 성질은 무엇인가?
• RQ5 이 방법은 총 일반화된 변형과 같은 복잡한 정규화 구조 및 하이브리드 스파arsity-정규화 모델에 얼마나 일반화될 수 있는가?

주요 결과

• 이 방법은 노이즈 제거 및 비드 블러 복원 작업에서 평균 제곱오차(MSE) 측면에서 거의 최적의 성능을 달성하였으며, 기존 문헌의 대안 방법들을 능가하였다.
• 총변형 및 스파arsity 사전을 갖는 고분광 분해 문제에서, 이 방법은 두 개의 정규화 파arameter를 성공적으로 추정하였고, 최적의 MSE에 매우 가까운 결과를 도출하였다.
• 총 일반화된 변형(TGV) 정규화의 경우, 12 dB SNR에서 flintstones 이미지에 대해 거의 최적의 노이즈 제거 성능을 달성하였으며, 다양한 초기화 조건에서도 안정적인 수렴을 보였다.
• 기존 총 변형 영역 근처에서 초기화된 경우 알고리즘이 초기화에 대해 강건했지만, 열악한 초기화 조건에서는 최적 수렴에 도달하지 못하는 경우가 있었다.
• 이 방법은 계산적으로 효율적이며 확장 가능하며, 표준 프록시멀 솔버와 동일한 연산자를 활용하여 기존 영상 파ip라인에 직접 통합이 가능하다.
• 이론적 분석을 통해 온화한 조건 하에서 수렴성이 확인되었으며, 테스트된 사례 외의 다른 정규화 구조로의 일반화 가능성도 입증되었다.