[논문 리뷰] Maximum likelihood estimation of regularisation parameters in high-dimensional inverse problems: an empirical Bayesian approach. Part II: Theoretical Analysis

Valentin De Bortoli, Alain Durmus외 2명|arXiv (Cornell University)|2020. 08. 13.

Numerical methods in inverse problems참고 문헌 47인용 수 4

한 줄 요약

이 논문은 고차원 역문제에서 정규화 파라미터의 최대 마진리스크 가능도 추정을 위한 확률적 근사 프락시드 그래디언트 방법에 대한 엄밀한 이론적 분석을 제공한다. 미묘한 검증 가능한 조건 하에 알고리즘의 거의 확실 수렴성을 확립하며, 비점근적 수렴 속도를 명시적으로 제시한다. 이는 비정확한 프락시드 마르코프 체인 몬테 카를로 샘플러(특히 프락시드 랭지언 알고리즘)를 사용하여 고차원에서의 확장 가능하고 이론적으로 타당한 최적화를 가능하게 한다.

ABSTRACT

This paper presents a detailed theoretical analysis of the three stochastic approximation proximal gradient algorithms proposed in our companion paper [49] to set regularization parameters by marginal maximum likelihood estimation. We prove the convergence of a more general stochastic approximation scheme that includes the three algorithms of [49] as special cases. This includes asymptotic and non-asymptotic convergence results with natural and easily verifiable conditions, as well as explicit bounds on the convergence rates. Importantly, the theory is also general in that it can be applied to other intractable optimisation problems. A main novelty of the work is that the stochastic gradient estimates of our scheme are constructed from inexact proximal Markov chain Monte Carlo samplers. This allows the use of samplers that scale efficiently to large problems and for which we have precise theoretical guarantees.

연구 동기 및 목표

• 고차원 역문제에서 마진리스크 가능도 최적화를 위한 일반적인 확률적 근사 체계의 거의 확실 수렴성을 확립하기 위해.
• 제안된 알고리즘에 대해 쉽게 검증 가능한 조건 하에 비점근적 수렴 속도를 제공하기 위해.
• 고차원 환경에서 그래디언트 추정을 위해 비정확한 프락시드 MCMC 샘플러(예: MYULA)를 사용하는 방법의 수렴성을 분석하기 위해.
• 보조 논문에서 제시된 세 가지 특정 알고리즘을 포함하는 일반화된 이론적 프레임워크를 확장하기 위해.
• 정규화 파rameter 선택이 핵심적인 불안정하거나 불량조건의 영상 문제에서 최적화에 대한 이론적 보장을 확보하기 위해.

제안 방법

• 후행 분포와 사전 분포를 타깃으로 하는 비정확한 MCMC 샘플러인 (Xn,k)와 (¯Xn,k)를 사용하는 일반적인 확률적 근사 체계를 제안: θn+1 = ΠΘ[θn − δn+1/mn ∑(g(Xn,k) − g(¯Xn,k))].
• 비가능도가 없는 정규화자(예: 총 변동성 또는 ℓ1-노름)를 다룰 수 있도록 프락시드 랭지언 샘플러(예: MYULA)를 활용하여 고차원에서의 확장 가능성을 보장한다.
• 편향과 분산을 제어하는 비정확한 MCMC 샘플러를 사용하며, 이는 프락시드 단계를 포함한 일반화된 미조정 랭지언 알고리즘(ULA) 기반이다.
• 피셔의 항등식을 적용하여 로그 마진리스크 가능도의 그래디언트를 기대값의 차이로 표현하고, 이를 MCMC 샘플을 통해 추정한다.
• 확률적 근사 이론의 프레임워크를 사용하여 수렴성을 확립하며, 단계 크기 수열과 배치 크기의 조건을 설정한다.
• 전이 커널 간의 쿨백-라이블러 발산을 분석하고 일반화된 핑커 부등식 및 리아푸노프 함수를 사용하여 수렴 속도의 명시적 경계를 유도한다.

실험 결과

연구 질문

• RQ1 확률적 근사 체계가 마진리스크 가능도 최적화 문제의 해로 거의 확실하게 수렴하기 위한 조건은 무엇인가?
• RQ2 알고리즘의 비점근적 수렴 속도는 무엇이며, 단계 크기와 배치 크기 수열에 어떻게 의존하는가?
• RQ3 비정확한 프락시드 MCMC 샘플러의 사용이 최적화 체계의 수렴 성질에 어떤 영향을 미치는가?
• RQ4 이론적 프레임워크는 보조 논문의 여러 알고리즘을 특수 케이스로 포함하도록 확장될 수 있는가?
• RQ5 비가능도가 없는 고차원 환경에서 프락시드 랭지언 샘플러를 사용할 경우, 수렴을 위해 필요한 최소이자 검증 가능한 가정은 무엇인가?

주요 결과

• 제안된 확률적 근사 체계는 미묘한 적분 가능성 및 정규성 조건 하에 마진리스크 가능도 최적화 문제의 해로 거의 확실하게 수렴한다.
• 단계 크기 수열(δn), 배치 크기(mn), 그리고 MCMC 샘플러의 혼합 성질에 따라 의존하는 명시적 경계를 포함한 비점근적 수렴 속도가 확립된다.
• 적절한 단계 크기 및 배치 크기 선택 하에 수렴 속도가 O(1/√n)임을 보이며, 이는 목표 분포의 스펙트럼 간격과 로그 소볼레프 상수에 명시적인 의존성을 보인다.
• 비정확한 프락시드 MCMC 샘플러(예: MYULA)의 사용은 이론적으로 타당하며, 그래디언트 추정의 편향과 분산에 대한 경계가 MCMC 반복 수에 따라 감소함을 보여준다.
• 비가능도 정규화자(예: TV, ℓ1)를 가진 광범위한 영상 문제 클래스에 적용 가능하여 고차원 환경에서 확장 가능하고 강건한 파라미터 추정을 가능하게 한다.
• 표준 및 프락시드 버전의 미조정 랭지언 알고리즘에 대한 이론적 보장이 확립되었으며, 이는 단계 크기와 정규화 파rameter에 명시적인 의존성을 포함한다.