[論文レビュー] Physical model simulator-trained neural network for computational 3D phase imaging of multiple-scattering samples

Alex Matlock, Lei Tian|arXiv (Cornell University)|Mar 29, 2021

Digital Holography and Microscopy参考文献 51被引用数 6

ひとこと要約

本論文は、複数散乱を示す生物学的サンプルの高速かつ高精度な3次元位相イメージングを可能にする、物理学シミュレータで訓練されたディープラーニングフレームワークを提案する。この手法は、環状強度回折トモグラフィ（aIDT）と軽量な2次元U-Netアーキテクチャを組み合わせるもので、自然画像から複数散乱の前方モデルを用いて訓練データを生成し、入力の正規化にモデルベースの線形フィッティングを適用することで、生細胞や動的サンプルにおいても頑健で一般化可能な再構成が達成される。

ABSTRACT

Recovering 3D phase features of complex, multiple-scattering biological samples traditionally sacrifices computational efficiency and processing time for physical model accuracy and reconstruction quality. This trade-off hinders the rapid analysis of living, dynamic biological samples that are often of greatest interest to biological research. Here, we overcome this bottleneck by combining annular intensity diffraction tomography (aIDT) with an approximant-guided deep learning framework. Using a novel physics model simulator-based learning strategy trained entirely on natural image datasets, we show our network can robustly reconstruct complex 3D biological samples of arbitrary size and structure. This approach highlights that large-scale multiple-scattering models can be leveraged in place of acquiring experimental datasets for achieving highly generalizable deep learning models. We devise a new model-based data normalization pre-processing procedure for homogenizing the sample contrast and achieving uniform prediction quality regardless of scattering strength. To achieve highly efficient training and prediction, we implement a lightweight 2D network structure that utilizes a multi-channel input for encoding the axial information. We demonstrate this framework's capabilities on experimental measurements of epithelial buccal cells and Caenorhabditis elegans worms. We highlight the robustness of this approach by evaluating dynamic samples on a living worm video, and we emphasize our approach's generalizability by recovering algae samples evaluated with different experimental setups. To assess the prediction quality, we develop a novel quantitative evaluation metric and show that our predictions are consistent with our experimental measurements and multiple-scattering physics.

研究の動機と目的

• 複雑で複数散乱を示す生物学的サンプルの3次元定量的位相イメージングにおいて、計算効率と物理モデルの正確さのトレードオフを克服すること。
• 実験的真値データセットを必要とせずに、動的で多様な生物学的標本において高速で一般化可能な3次元位相再構成を可能にすること。
• 実験データではなく、シミュレートされた複数散乱の物理学を用いてトレーニングするデータ効率の高いディープラーニングフレームワークの開発。
• 新しいモデルベースのデータ正規化手順により、散乱強度が異なる状況でも一様な予測品質を達成すること。
• C. elegansのワームやアルゲーを含む、異なる実験設定下での生きた動的サンプルにおいて、高性能な3次元位相イメージングを実証すること。

提案手法

• 物理学シミュレータに基づくトレーニング戦略により、自然画像にランダムに屈折率（RI）値を割り当て、複数散乱前方モデル（SSNP）を用いて強度測定をシミュレートし、aIDTモデルからの線形近似を計算することで合成トレーニングデータを生成する。
• モデルベースの線形フィッティング手順により、強度画像のスペクトルマグニチュードからピークRIを推定することで入力を正規化し、散乱強度にかかわらず一様な予測品質を実現する。
• 軸方向情報をマルチチャネル入力にエンコードする軽量な2次元U-Netアーキテクチャ（初期フィルタ数128、スキップ接続付き）を用い、チェッカーボードアーチファクトを回避するとともにパrameter数を削減する。
• ネットワークは平均絶対誤差（MAE）損失、10−3の学習率を有するADAM最適化アルゴリズム、100エポック、バッチサイズ20で訓練され、一般化を高めるためにミニバッチ毎にランダムなスライス部分集合が使用される。
• ネットワークは5つの連続する近似スライスから3次元ボリュームの中央スライスを予測し、Leaky ReLUおよびバッチ正規化を用いた2次元畳み込みにより特徴抽出を実施する。
• 活性化関数なしの1×1畳み込みにより最終的なRI予測を生成し、負のコントラストを保持するとともにエンドツーエンド回帰を可能にする。

実験結果

リサーチクエスチョン

• RQ1 物理的複数散乱モデルからのシミュレートデータのみでトレーニングされたディープラーニングモデルが、実際の生物学的サンプルにおいて一般化可能な3次元位相再構成を達成できるか？
• RQ2 散乱強度が異なるサンプルにおいても一貫した予測品質を保証するため、入力正規化をどのように設計すべきか？
• RQ3 マルチチャネル入力に軸方向情報をエンコードすることで、2次元ネットワークアーキテクチャが効果的に3次元位相情報を回復できるか？
• RQ4 単一散乱近似と比較して、提案手法が複数散乱サンプルにおける再構成精度と深さセクションニングをどの程度向上させるか？
• RQ5 動的で未観測の生物学的標本や実験設定、特に生きた動的サンプルに対して、モデルの一般化性能はどの程度高いか？

主な発見

• 提案手法は、上皮細胞およびCaenorhabditis elegansワームにおいて、線形aIDT近似と比較して深さセクションニングが向上し、特徴回復が改善された、頑健な3次元位相再構成を達成した。
• 異なる実験設定で撮影されたアルゲー標本に対しても、訓練分布を超えて効果的に一般化し、広範な適用可能性を示した。
• ネットワークは動的C. elegansの動きを動画シーケンスで再構成に成功し、生きた時系列イメージングへの対応能力を確認した。
• モデルベース正規化手順により、スペクトルマグニチュードとピークRIの間に線形関係（R² = 0.917）を達成し、多様な散乱条件下でも一貫した入力スケーリングが可能となった。
• ネットワークは高い予測精度を達成し、定量的評価により予測値と実験測定値の間に強い一貫性が確認された。
• 軽量な2次元アーキテクチャにより、3次元ネットワークの高コストを回避しながらも、高い性能を維持した効率的なトレーニングと推論が実現された。