[논문 리뷰] Preconditioned training of normalizing flows for variational inference in inverse problems

Ali Siahkoohi, Gabrio Rizzuti외 3명|arXiv (Cornell University)|2020. 11. 23.

Seismic Imaging and Inversion Techniques인용 수 2

한 줄 요약

이 논문은 고비용의 정방향 연산자를 갖는 역문제에서 변분 추론을 위한 고해상도 정규화 흐름(normalizing flow, NF)의 학습을 가속화하기 위해 저해상도 데이터에서 훈련된 조건부 정규화 흐름(conditional normalizing flow, NF)을 사용한 전처리 전략을 제안한다. 고해상도 NF를 사전에 훈련된 저해상도 NF의 가중치로 초기화함으로써, 정확도를 훼손하지 않은 채 Kullback-Leibler 발산을 최소화하는 데 있어 뚜렷한 속도 향상을 달성한다. 이는 2차원 및 지진 압축 센싱 예제에서 입증되었다.

ABSTRACT

Obtaining samples from the posterior distribution of inverse problems with expensive forward operators is challenging especially when the unknowns involve the strongly heterogeneous Earth. To meet these challenges, we propose a preconditioning scheme involving a conditional normalizing flow (NF) capable of sampling from a low-fidelity posterior distribution directly. This conditional NF is used to speed up the training of the high-fidelity objective involving minimization of the Kullback-Leibler divergence between the predicted and the desired high-fidelity posterior density for indirect measurements at hand. To minimize costs associated with the forward operator, we initialize the high-fidelity NF with the weights of the pretrained low-fidelity NF, which is trained beforehand on available model and data pairs. Our numerical experiments, including a 2D toy and a seismic compressed sensing example, demonstrate that thanks to the preconditioning considerable speed-ups are achievable compared to training NFs from scratch.

연구 동기 및 목표

• 고비용의 정방향 연산자를 갖는 역문제에서 사후 샘플링을 위한 정규화 흐름 학습의 계산적 과제를 해결하기 위해.
• 저해상도 모델-데이터 쌍을 활용하여 고해상도 변분 추론의 훈련 비용을 줄이기 위해.
• 사전에 훈련된 저해상도 가중치로 고해상도 모델을 초기화하여 정규화 흐름의 수렴 속도를 향상시키기 위해.
• 지진 압축 센싱과 같은 문제에서 복잡하고 비균질적인 사후 분포로부터 효율적으로 샘플링할 수 있도록 하기 위해.
• 조건부 NF를 통한 전처리가 사후 근사 품질을 손상시키지 않은 채 측정 가능한 속도 향상을 이끌어내는지 검증하기 위해.

제안 방법

• 저해상도 모델 및 데이터 쌍에서 조건부 정규화 흐름을 훈련하여 서브스티튜트 사후 분포를 학습한다.
• 사전에 훈련된 저해상도 NF를 사용하여 고해상도 NF의 초기화를 수행함으로써 최적화 검색 공간을 축소한다.
• 예측된 사후 밀도와 목표 사후 밀도 간의 Kullback-Leibler 발산을 최소화하도록 고해상도 NF를 훈련한다.
• 간접 측정값을 활용하고 저해상도 및 고해상도 문제 간의 구조적 유사성을 이용한다.
• 조건부 NF 아키텍처는 정방향 연산자를 통해 미분 가능성을 유지하면서 사후 분포의 엔드 투 엔드 학습을 가능하게 한다.
• 저해상도에서의 지식을 고해상도 학습으로 전이함으로써 무작위 초기화로부터의 훈련을 피한다.

실험 결과

연구 질문

• RQ1 저해상도 정규화 흐름이 역문제에서 고해상도 정규화 흐름의 학습을 효과적으로 전처리할 수 있는가?
• RQ2 저해상도 가중치로 고해상도 NF를 초기화할 경우 훈련 시간이 얼마나 줄어들고 수렴 속도가 얼마나 향상되는가?
• RQ3 사전 훈련된 저해상도 가중치를 사용한 고해상도 NF가 무작위 초기화로 훈련한 경우에 비해 진정한 사후 분포를 얼마나 잘 근사하는가?
• RQ4 고비용의 정방향 연산자를 갖는 문제에서 계산 비용을 크게 줄이면서도 정확도를 유지하는가?
• RQ5 이 방법은 지진 압축 센싱과 같은 실제 역문제에 일반화될 수 있는가?

주요 결과

• 사전 훈련된 초기화 전략은 무작위 초기화로 학습하는 것에 비해 훈련 시간을 크게 단축시킨다.
• 사전에 훈련된 저해상도 NF 가중치의 사용은 고해상도 훈련에서 수렴에 필요한 반복 수를 크게 줄인다.
• 2차원 토이 문제와 지진 압축 센싱 예제에서의 수치 실험을 통해 높은 품질의 사후 근사가 유지됨을 검증하였다.
• 조건부 정규화 흐름은 강하게 비균질적인 매질에서도 복잡한 사후 구조를 성공적으로 포착하였다.
• 저해상도에서 고해상도 모델로의 지식 전이로 최적화 속도가 빨라졌고, 사후 정확도 손실는 최소한으로 유지되었다.
• 지질물리적 영상과 같은 고비용 정방향 연산자를 포함하는 문제에서 이 방법은 확장성과 효율성을 입증하였다.