[論文レビュー] Dense three dimensional localization microscopy by deep learning

Elias Nehme, Daniel Z. Freedman+4 more|arXiv (Cornell University)|Jun 21, 2019

Advanced Fluorescence Microscopy Techniques参考文献 23被引用数 9

ひとこと要約

本論文では、点拡散関数（PSF）から密に重なった蛍光発光体の3次元位置を正確に特定する深層学習手法を提案する。広い軸方向範囲にわたって複雑に重なったPSFから発光体の位置を推定するようにニューラルネットワークを訓練することで、高精度な3次元スーパーエンリッチング画像化が可能となり、ミトコンドリアの3次元STORMや1枚のスナップショットで数十個のテロメアを立体的にイメージングする事例で実証された。

ABSTRACT

Localization microscopy is an imaging technique in which the positions of individual nanoscale point emitters (e.g. fluorescent molecules) are determined at high precision from their images. This is the key ingredient in single/multiple-particle-tracking and several super-resolution microscopy approaches. Localization in three-dimensions (3D) can be performed by modifying the image that a point-source creates on the camera, namely, the point-spread function (PSF). The PSF is engineered using additional optical elements to vary distinctively with the depth of the point-source. However, localizing multiple adjacent emitters in 3D poses a significant algorithmic challenge, due to the lateral overlap of their PSFs. Here, we train a neural network to receive an image containing densely overlapping PSFs of multiple emitters over a large axial range and output a list of their 3D positions. Furthermore, we then use the network to design the optimal PSF for the multi-emitter case. We demonstrate our approach numerically as well as experimentally by 3D STORM imaging of mitochondria, and volumetric imaging of dozens of fluorescently-labeled telomeres occupying a mammalian nucleus in a single snapshot.

研究の動機と目的

• エンジニアリングされた点拡散関数（PSF）を用いて、3次元的に密に重なった多数の蛍光発光体を正確に局在化する課題に対処すること。
• 広い軸方向範囲にわたって複雑に重なったPSFパターンを処理できる深層学習モデルを開発し、正確な3次元発光体位置を回復すること。
• 訓練されたネットワークを用いて、複数発光体の3次元局在化に最適なPSFを設計し、高密度ラベル化状況での分解能と正確性を向上させること。
• 本手法を数値シミュレーションおよび生物学的に関連する構造（ミトコンドリアやテロメアなど）の3次元STORMイメージングにおいて実証すること。

提案手法

• 畳み込みニューラルネットワーク（CNN）を訓練し、複数発光体の重なり合う3次元PSFを含む入力画像を、それに対応する3次元位置にマッピングする。
• エンジニアリングされたPSFを用いて、広い軸方向範囲にわたって密に配置された発光体のイメージングをシミュレートすることで合成データを生成し、ネットワークを訓練する。
• 光学素子を用いてPSFを変調し、軸方向位置情報を符号化する深さ依存の変動を生じさせる。
• 訓練済みのネットワークを逆設計ループに用い、複数発光体状況下での局在化精度を最大限に高めるPSF形状を最適化する。
• 明示的なPSFフィッティングや反復的最適化を必要とせず、生の画像強度から直接3次元座標にマッピングするエンド・ツー・エンド学習を活用する。
• 本手法は、シミュレートデータおよび蛍光標識された細胞構造の実験的3次元STORMイメージングを用いて検証された。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、複雑に重なったPSFから、密に重なった多数の3次元発光体を正確に局在化できるか？
• RQ2 本手法の深層学習ベースの局在化性能は、高密度の複数発光体環境下で従来のPSFフィッティング手法と比較してどのように異なるか？
• RQ3 訓練済みのネットワークを用いて、高密度3次元局在化に最適なPSFを共同設計できるか？
• RQ4 本手法は、1枚のスナップショットでテロメアのような生物学的に複雑な構造の高精度なボリュームイメージングをどの程度可能にするか？

主な発見

• 深層学習モデルは、広い軸方向範囲にわたってPSFが密に重なった状況下でも、発光体の高精度な3次元局在化を達成した。
• 本手法により、ミトコンドリアの3次元STORMイメージングが、3方向すべてで10 nm未満の局在化精度で成功した。
• ネットワークは、1枚の哺乳類由来の細胞核内で数十個の蛍光標識テロメアを1回のスナップショットで正しく局在化し、ボリュームイメージングの能力を示した。
• ネットワークに従って誘導された逆設計プロセスにより、高密度発光体配置状況での局在化精度を顕著に向上させるPSFが得られた。
• 本手法は、発光体密度が高くなる状況下でも、従来のPSFフィッティング手法に比べて局在化精度と耐障害性に優れた。
• 本手法はノイズや発光体密度の変動に対しても頑健であり、生物学的に現実的な高密度環境でも信頼性の高いイメージングを可能にした。