[論文レビュー] Differentiable probabilistic models of scientific imaging with the Fourier slice theorem

Karen Ullrich, Rianne van den Berg+3 more|arXiv (Cornell University)|Jun 18, 2019

Advanced Electron Microscopy Techniques and Applications参考文献 33被引用数 9

ひとこと要約

本稿では、フーリエ断層撮影定理を用いて、勾配ベース最適化によるエンド・ツー・エンド学習を可能にする、微分可能確率的3次元再構成モデルを提案する。3次元構造とポーズを不確実性を伴う潜在変数としてモデル化することで、データ効率の高い再構成と教師なしのモデル評価を実現し、点推定よりも少ないデータで優れた性能を発揮するとともに、低サンプリング領域やノイズを予測する。

ABSTRACT

Scientific imaging techniques such as optical and electron microscopy and computed tomography (CT) scanning are used to study the 3D structure of an object through 2D observations. These observations are related to the original 3D object through orthogonal integral projections. For common 3D reconstruction algorithms, computational efficiency requires the modeling of the 3D structures to take place in Fourier space by applying the Fourier slice theorem. At present, it is unclear how to differentiate through the projection operator, and hence current learning algorithms can not rely on gradient based methods to optimize 3D structure models. In this paper we show how back-propagation through the projection operator in Fourier space can be achieved. We demonstrate the validity of the approach with experiments on 3D reconstruction of proteins. We further extend our approach to learning probabilistic models of 3D objects. This allows us to predict regions of low sampling rates or estimate noise. A higher sample efficiency can be reached by utilizing the learned uncertainties of the 3D structure as an unsupervised estimate of the model fit. Finally, we demonstrate how the reconstruction algorithm can be extended with an amortized inference scheme on unknown attributes such as object pose. Through empirical studies we show that joint inference of the 3D structure and the object pose becomes more difficult when the ground truth object contains more symmetries. Due to the presence of for instance (approximate) rotational symmetries, the pose estimation can easily get stuck in local optima, inhibiting a fine-grained high-quality estimate of the 3D structure.

研究の動機と目的

• 3次元科学的イメージング、特にコールド・エムにおいて、直交積分投影演算子の微分可能性を解決する。
• 微分可能推論を用いて、3次元構造とオブジェクトポーズなどの未知属性を確率的モデル化する。
• 学習された不確実性推定を活用することで、3次元再構成のデータ効率を向上させ、教師なしのモデル適合指標としての役割を果たす。
• 従来のMAP推定が抱える課題（初期値に敏感であること、ポーズ推定における局所最適解への収束）を克服する。
• アモアタイズド推論と不確実性の定量化をサポートするスケーラブルで微分可能な科学的イメージングフレームワークを構築する。

提案手法

• 画像形成プロセスを、潜在的な3次元構造とポーズを含む微分可能グラフィカルモデルとして定式化する。
• フーリエ断層撮影定理を適用して、フーリエ空間における投影の表現を可能にし、効率的かつ微分可能な投影計算を実現する。
• 再パラメータライゼーショントリックを用いて、確率的潜在変数（例：3次元ボリューム上のガウス分布）を介したバックプロパゲーションを可能にする。
• 3次元構造をパラメータ化された確率分布（例：等方的ガウス分布）としてモデル化することで、不確実性推定とデータ効率の高い学習を可能にする。
• 未知のポーズに対するアモアタイズド推論を統合し、不確実性の定量化を伴う構造とポーズの同時推定を可能にする。
• 尤度の下界（ELBO）に重要度重みを導入することで、モデル批判と評価のためのデータ対数尤度推定を実現する。

実験結果

リサーチクエスチョン

• RQ1 フーリエ断層撮影定理を用いることで、3次元科学的イメージングにおける投影演算子を微分可能にできるか？ これによりエンド・ツー・エンド学習が可能になるか？
• RQ2 学習された不確実性を伴う3次元構造の確率的モデリングは、点推定と比較して3次元再構成のデータ効率を向上させることができるか？
• RQ3 学習された不確実性は、低サンプリング領域やモデル適合が悪い領域をどれほど効果的に特定できるか？
• RQ4 特に対称構造において、微分可能確率的モデルを用いた3次元構造とオブジェクトポーズの同時推定は、どの程度向上できるか？
• RQ5 提案手法は、FSCのような従来のデータ非効率的評価指標を、不確実性に基づくモデル検証に置き換えることができるか？

主な発見

• 提案手法は、点推定（例：デルタ関数）と同等の再構成品質を達成しながら、顕著に少ないデータに依存しており、データ効率の向上を示している。
• 学習された不確実性推定は、低サンプリング領域を効果的に特定する。これは、高いKLダイバージェンスのため、これらの領域が事前分布に近づくためである。
• 本手法は、真値ラベルを必要とせず、ノイズとモデル適合度の質を予測でき、再構成品質の教師なし評価が可能になる。
• 対称構造では、勾配ベース最適化によるポーズ推定が、誤差関数の多様な局所最適解のため、グローバル最適解に収束しない。
• ポストリアリティ推定の学習における制限にもかかわらず、本手法は既存のポーズ推定技術（例：ブランチアンドバウンズ）と組み合わせることで、不確実性の利点を維持しつつグローバル最適性を達成できる。
• 本手法はアモアタイズド推論とタンスファー学習の可能性を提供し、今後の研究では、歪みの特性を歪みのないままに転送することを目的とする。