[논문 리뷰] Differentiable probabilistic models of scientific imaging with the Fourier slice theorem

Karen Ullrich, Rianne van den Berg외 3명|arXiv (Cornell University)|2019. 06. 18.

Advanced Electron Microscopy Techniques and Applications참고 문헌 33인용 수 9

한 줄 요약

이 논문은 푸리에 조각 정리(Fourier slice theorem)를 사용하여 과학적 영상에서 미분 가능한 확률적 3D 재구성 모델을 제안한다. 이는 기울기 기반 최적화를 통한 엔드 투 엔드 학습을 가능하게 한다. 3D 구조와 자세를 불확실성과 함께 잠재 변수로 모델링함으로써, 데이터 효율적인 재구성과 비지도 모델 평가를 달성하며, 더 적은 데이터로도 점 추정치보다 우수한 성능을 내며 낮은 샘플링 영역과 노이즈를 예측한다.

ABSTRACT

Scientific imaging techniques such as optical and electron microscopy and computed tomography (CT) scanning are used to study the 3D structure of an object through 2D observations. These observations are related to the original 3D object through orthogonal integral projections. For common 3D reconstruction algorithms, computational efficiency requires the modeling of the 3D structures to take place in Fourier space by applying the Fourier slice theorem. At present, it is unclear how to differentiate through the projection operator, and hence current learning algorithms can not rely on gradient based methods to optimize 3D structure models. In this paper we show how back-propagation through the projection operator in Fourier space can be achieved. We demonstrate the validity of the approach with experiments on 3D reconstruction of proteins. We further extend our approach to learning probabilistic models of 3D objects. This allows us to predict regions of low sampling rates or estimate noise. A higher sample efficiency can be reached by utilizing the learned uncertainties of the 3D structure as an unsupervised estimate of the model fit. Finally, we demonstrate how the reconstruction algorithm can be extended with an amortized inference scheme on unknown attributes such as object pose. Through empirical studies we show that joint inference of the 3D structure and the object pose becomes more difficult when the ground truth object contains more symmetries. Due to the presence of for instance (approximate) rotational symmetries, the pose estimation can easily get stuck in local optima, inhibiting a fine-grained high-quality estimate of the 3D structure.

연구 동기 및 목표

• 냉동전자현미경과 같은 3D 과학적 영상에서 직각 적분 투영 연산자에 대한 미분 가능성을 다루는 것.
• 다양한 추론을 통한 3D 구조와 물체 자세와 같은 알려지지 않은 속성의 확률적 모델링을 가능하게 하는 것.
• 학습된 불확실성 추정치를 비지도 모델 적합도 지표로 활용하여 3D 재구성의 데이터 효율성을 향상시키는 것.
• 냉동전자현미경에서 전통적인 MAP 추정의 한계, 즉 초기화에 민감하거나 자세 추정에서 국소 최적점에 갇히는 문제를 해결하는 것.
• 확장 가능한, 다양한 추론과 불확실성 측정을 지원하는 과학적 영상용 미분 가능한 프레임워크를 개발하는 것.

제안 방법

• 잠재적인 3D 구조와 자세를 포함한 미분 가능한 그래픽 모델로 이미지 형성 과정을 수립한다.
• 푸리에 조각 정리를 적용하여 푸리에 공간에서 투영을 표현함으로써, 효율적이고 미분 가능한 투영 계산을 가능하게 한다.
• 재설정 기법(reparameterization trick)을 사용하여 확률적 잠재 변수(예: 3D 볼륨 위의 정규분포)를 통해 역전파를 가능하게 한다.
• 3D 구조를 매개변수화된 확률 분포(예: 등방성 정규분포)로 모델링하여 불확실성 추정과 데이터 효율적 학습을 가능하게 한다.
• 알려지지 않은 자세에 대한 암시적 추론을 통합하여, 불확실성 측정과 함께 구조와 자세를 함께 추정할 수 있도록 한다.
• 증거 하한 경계(ELBO)에 중요도 가중치를 적용하여 데이터의 로그우도를 추정함으로써 모델 비판과 평가를 수행한다.

실험 결과

연구 질문

• RQ1 3D 과학적 영상에서 푸리에 조각 정리를 사용하여 투영 연산자를 미분 가능하게 할 수 있는가? 이는 엔드 투 엔드 학습을 가능하게 하는가?
• RQ2 학습된 불확실성과 함께 3D 구조의 확률적 모델링이 점 추정치에 비해 데이터 효율성 향상에 기여하는가?
• RQ3 학습된 불확실성은 낮은 샘플링 영역 또는 모델 적합도가 떨어지는 영역을 얼마나 효과적으로 식별하는가?
• RQ4 특히 대칭 구조에서, 다양한 확률적 모델을 사용한 3D 구조와 물체 자세의 공동 추정은 얼마나 향상되는가?
• RQ5 기존의 데이터 비효율적인 평가 지표(예: FSC)를 대체하여 불확실성 기반 모델 검증이 가능한가?

주요 결과

• 제안된 방법은 점 추정치(예: Dirac 델타)와 유사한 재구성 품질을 달성하면서도 훨씬 적은 데이터에 의존하여 데이터 효율성이 향상됨을 입증하였다.
• 학습된 불확실성 추정치는 낮은 샘플링 비율 영역을 효과적으로 식별한다. 이는 높은 KL 발산으로 인해 사전 분포로 복귀하기 때문이다.
• 지표 레이블이 필요 없이 노이즈와 모델 적합도 품질을 성공적으로 예측함으로써, 재구성 품질에 대한 비지도 평가가 가능해졌다.
• 대칭 구조에서는 기울기 기반 최적화가 자세 추정에서 전역 최적점에 수렴하지 못함을 확인하였으며, 이는 오차 표면상의 다수의 국소 최적점 때문이었다.
• 자세 사후분포 학습의 한계에도 불구하고, 기존의 자세 추정 기법(예: 분기 및 경계 기법)과 조합함으로써 전역 최적성 확보와 함께 불확실성의 이점을 유지할 수 있었다.
• 이 방법은 암시적 추론과 단백질 간 전이 학습 잠재력을 제공하며, 향후 작업은 잠재 구조에 편향을 주지 않고 노이즈 특성을 전이하는 데 집중할 것이다.