[논문 리뷰] On log-concave approximations of high-dimensional posterior measures and stability properties in non-linear inverse problems

Jan Bohr, Richard Nickl|arXiv (Cornell University)|2021. 05. 17.

Geochemistry and Geologic Mapping인용 수 6

한 줄 요약

이 논문은 비선형 역문제에서 고차원적이고 비-로그볼록(posterior) 측도가 워샤르스탄 거리에서 로그볼록 측도로 근사될 수 있는 조건을 설정한다. 이러한 조건 하에서, 경사 기반 샘플링 알고리즘인 미조정된 랭게빈 몬테카를로(MCMC) 알고리즘이 '따뜻한' 초기화 조건 하에서 다항시간 수렴을 보이며, 비아벨리언 X선 변환을 포함한 도전적인 PDE 기반 모델에서 효율적인 베이지안 추론이 가능해진다.

ABSTRACT

The problem of efficiently generating random samples from high-dimensional and non-log-concave posterior measures arising from nonlinear regression problems is considered. Extending investigations from arXiv:2009.05298, local and global stability properties of the model are identified under which such posterior distributions can be approximated in Wasserstein distance by suitable log-concave measures. This allows the use of fast gradient based sampling algorithms, for which convergence guarantees are established that scale polynomially in all relevant quantities (assuming `warm' initialisation). The scope of the general theory is illustrated in a non-linear inverse problem from integral geometry for which new stability results are derived.

연구 동기 및 목표

• 비선형 역문제에서 발생하는 고차원적 비-로그볼록 사후 분포에서 샘플링하는 데 발생하는 계산적 과제를 다루기 위해.
• 사후 분포를 로그볼록 측도로 근사할 수 있도록 하는 전방 모델의 국소적 및 전역적 안정성 조건을 규명하기 위해.
• 고차원적 비-로그볼록 설정에서 경사 기반 샘플링 알고리즘(예: ULA)의 다항시간 수렴 보장을 수립하기 위해.
• 근사 이론을 활용하여 빠른 샘플링 방법의 적용 범위를 로그볼록 사후 분포를 초월해 확장하기 위해.
• 비아벨리언 X선 변환의 주요 클래스인 비선형 역문제에 대해 새로운 안정성 추정치를 유도하기 위해.

제안 방법

• 전방 사상과 우도에 대한 해석적 가정 하에, 워샤르스탄 거리에서 사후 측도에 대한 일반적인 로그볼록 근사 정리를 제안한다.
• 제르니케 다항식 척도와 소볼레프 유사 공간을 포함하는 함수해석적 프레임워크를 사용하여 전방 연산자의 정규성을 특성화한다.
• X선 변환과 그 선형화의 사상 성질을 적용하여 $L^2$ 및 $L^rown$ 노름에서의 안정성 추정치를 도출한다.
• 사용자 정의된 랭게빈 알고리즘(ULA)을 사용하며, 차원 $D$, 표본 크기 $N$, 역 정밀도 $rown^{-1}$ 에 대해 다항적으로 스케일링되는 수렴 보장을 확보한다. 이는 '따뜻한' 초기화 조건을 가정할 때 성립한다.
• 진짜 사후 분포 하에서 로그우도의 일阶 및 이阶 모멘트와 그 기울기의 유계성을 확보함으로써 근사 오차를 제어할 수 있다.
• 삼각 부등식 추정치와 적분 연산자의 연산자 노름 유계성(예: $I_rown$, $I_rown$)을 조합하여 전체 모델과 절단 모델 간의 차이를 제어한다.

실험 결과

연구 질문

• RQ1 고차원 비선형 역문제에서 비-로그볼록 사후 측도가 워샤르스탄 거리에서 로그볼록 측도로 근사될 수 있는 전방 모델의 조건은 무엇인가?
• RQ2 경사 기반 샘플링 알고리즘이 고차원 비-로그볼록 사후 분포에서 다항시간 수렴을 달성할 수 있는 방법은 무엇인가?
• RQ3 비아벨리언 설정에서 로그볼록 근사 정리가 적용되기 위해 X선 변환의 어떤 안정성 성질이 요구되는가?
• RQ4 진짜 사후 분포 하에서 로그우도의 모멘트와 그 도함수는 어떻게 행동하는가? 이는 샘플링 수렴에 어떤 영향을 미치는가?
• RQ5 진짜 사후 분포와 그 로그볼록 대체 모델 간의 근사 오차는 차원과 표본 크기에서 균일하게 유계가 될 수 있는가?

주요 결과

• 전방 모델이 국소적 및 전역적 안정성 조건을 만족할 경우, 데이터 법칙 하에서 고확률적으로 사후 측도 $rown( heta|Z^{(N)})$ 가 워샤르스탄 거리에서 로그볼록 측도로 근사될 수 있다.
• 이 조건 하에서, 미조정된 랭게빈 알고리즘(ULA)은 $D$, $N$, $rown^{-1}$ 에 대해 다항적으로 스케일링되는 혼합 시간 경계를 확보하며, 정밀도 $rown$ 에 대해 $O(N^{b_1}D^{b_2}rown^{-b_3})$ 번의 반복을 필요로 한다.
• 이 방법은 비아벨리언 X선 변환 문제에 적용 가능하며, 제르니케 다항식 척도에서 X선 변환과 그 선형화에 대해 새로운 안정성 추정치가 도출된다.
• $rown o 0$ 일 때, 전체 및 절단된 X선 변환 간의 차이의 $L^2$-노름은 $O(rown D^{-2})$ 로 유계가 되며, 이는 근사 제어를 보장한다.
• 진짜 사후 분포 하에서 로그우도의 기울기와 헤시안 행렬은 기대값에서 일관되게 유계이며, 차원 $D$ 에 대해 다항 인자 외에는 독립적이다.
• 선형화된 X선 변환과 그 수반 연산자의 연산자 노름은 $L^rown$ 및 $L^2$ 위상에서 일관되게 유계이며, 이는 헤시안 항의 근사 오차 제어를 가능하게 한다.