[論文レビュー] Fast 3D cell tracking with wide-field fluorescence microscopy through deep learning

Kan Liu, Hui Qiao+4 more|arXiv (Cornell University)|May 14, 2018

Advanced Vision and Imaging参考文献 1被引用数 3

ひとこと要約

本論文では、ハードウェアの改造なしに、1枚の2次元ワイドフィールド蛍光顕微鏡画像から高速かつ高精度に3次元細胞追跡を可能にする、2つの段階的な畳み込みニューラルネットワーク（CNN）を組み合わせたディープラーニングフレームワークを提案する。不適切な3次元局在化問題を多ラベル分類タスクに変換することで、ゼブラフィッシュの体内で100 fpsの高精度な3次元追跡を実現し、従来のカーネルフィッティング手法に比べて精度とノイズ耐性に優れている。

ABSTRACT

Tracking cells in 3D at high speed continues to attract extensive attention for many biomedical applications, such as monitoring immune cell migration and observing tumor metastasis in flowing blood vessels. Here, we propose a deep convolutional neural networks (CNNs) based method to retrieve the 3D locations of the fluorophores from a single 2D image captured by a conventional wide-field fluorescence microscope without any hardware modification. The reported method converts the challenging 3D localization from an ill-posed model-based fitting problem, especially with dense samples and low signal-to-noise ratio, to a solvable multi-label classification problem through two cascaded CNNs, where deep learning technique has a great advantage over other algorithms. Compared with traditional kernel-fitting methods, the proposed method achieves more accurate and robust localization of multiple objects across a much larger axial range, which is validated by both simulation and experimental results on 3D distributed fluorescent beads. Moreover, in vivo 3D tracking of multiple blood cells in zebrafish at 100 fps further verifies the feasibility of our framework.

研究の動機と目的

• 標準的なワイドフィールド蛍光顕微鏡を用いて、ハードウェアの改造なしに、生体試料において高速かつ高精度な3次元細胞追跡を可能にすること。
• 従来のモデルベースの3次元局在化手法に見られる、不適切なフィッティング、ノイズの増幅、低SNRおよび高密度オブジェクト下での性能劣化といった制限を克服すること。
• ディープラーニングを活用して、複雑な3次元局在化問題を解ける多ラベル分類タスクに変換することで、耐障害性と精度を向上させること。
• シミュレーションおよび実験的設定の両方で手法を検証し、ゼブラフィッシュの血球を100 fpsで体内追跡することを含む。
• 本フレームワークが多様な光学的条件に一般化可能であり、他の画像モダリティおよびPSF工学的手法への応用拡張が可能であることを示すこと。

提案手法

• 2段階の段階的CNNアーキテクチャを採用：まず、2次元画像内のスライディングウィンドウ内でオブジェクトの位置を特定する横方向検出CNNを適用する。
• 次に、2次元画像内の焦点ずれパターンに基づいて、各検出オブジェクトの3次元深度（z位置）を推定する軸方向局在CNNを実行する。
• 3次元局在化をモデルベースのフィッティング問題ではなく、多ラベル分類問題として扱うことで、ノイズやクロストークに依存しにくくなる。
• 実際の単一蛍光ビーズのzスタックを用いて合成されたトレーニングデータにより、実世界のノイズ、収差、および軸方向のSNR変動を正確にモデル化する。
• 多数のシミュレート済みおよび実際の焦点ずれパターンを用いた教師あり学習により、エンドツーエンドでトレーニングし、多様な画像条件に一般化可能にする。
• 本フレームワークは、いかなるワイドフィールド顕微鏡とも互換性があり、軸方向の範囲と分解能を向上させるためにPSF工学的システムへの拡張も可能である。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングは、ワイドフィールド蛍光顕微鏡における不適切な3次元局在化問題を、安定的かつエンドツーエンドで分類タスクに効果的に変換できるか？
• RQ2 提案されたCNNベースの手法は、低SNRおよび高オブジェクト密度下での局在化精度と耐障害性において、従来のカーネルフィッティングおよび最尤推定（MLE）法と比較してどのように優れているか？
• RQ3 本手法は、ハードウェアの改造なしに、100 fps程度の高速3次元追跡を体内で実現できるか、その程度はどの程度か？
• RQ4 光学的収差、屈折率の不一致、ノイズ統計の変動といった多様な光学的条件下でも、一般化可能か？
• RQ5 トレーニングデータ合成に実験的に取得したzスタックを用いることで、完全にシミュレートされたPSFを用いる場合と比較して、性能がどのように向上するか？

主な発見

• 本手法は、特に低SNRおよび高オブジェクト密度下で、従来のカーネルフィッティングおよびMLE手法と比較して、局在化誤差（RMSEで測定）が著しく低く、オブジェクト認識のJaccardインデックスも高い。
• 本手法により、ゼブラフィッシュで100 fpsの3次元追跡が可能となり、血球移動などの動的細胞プロセスの高速体内モニタリングの実現可能性を示した。
• 実験的に取得したzスタックをトレーニングデータ合成に用いることで、特に異なる深さでの軸方向局在化精度において、完全にシミュレートされたPSFを用いた場合よりも顕著に性能が向上した。
• 本手法は、軸方向のSNR変動をよりよくモデル化しているため、従来のMLEベースの手法よりも広い有効な軸方向局在範囲を達成している。
• 本手法は光学的収差やノイズに対して耐性があり、厳しい画像条件では失敗するモデルベース手法を上回っている。
• 本アプローチは一般化可能であり、他のPSF工学的手法や画像モダリティ（例：明-fieldおよび位相コントラスト）への応用拡張が可能であり、より広範な生物学的および臨床的応用に貢献できる。