[論文レビュー] Learning to Reconstruct Confocal Microscopy Stacks from Single Light Field Images

Josué Page Vizcaíno, Federico Saltarin+3 more|arXiv (Cornell University)|Mar 24, 2020

Cell Image Analysis Techniques参考文献 34被引用数 8

ひとこと要約

本稿では、1枚の光場顕微鏡（LFM）画像から高分解能3次元共焦点顕微鏡スタックを再構成する深層学習ベースの手法であるLFMNetを提案する。本手法は50msの推論時間を達成し、従来の共焦点画像化と比較してスキャン時間を720倍短縮し、ストレージを64倍削減する。訓練には実際のペア化されたLFMおよび共焦点データを用いることで、実時間での生体内3次元顕微鏡に適した近似共焦点品質の再構成を実現する。

ABSTRACT

We present a novel deep learning approach to reconstruct confocal microscopy stacks from single light field images. To perform the reconstruction, we introduce the LFMNet, a novel neural network architecture inspired by the U-Net design. It is able to reconstruct with high-accuracy a 112x112x57.6$μm^3$ volume (1287x1287x64 voxels) in 50ms given a single light field image of 1287x1287 pixels, thus dramatically reducing 720-fold the time for confocal scanning of assays at the same volumetric resolution and 64-fold the required storage. To prove the applicability in life sciences, our approach is evaluated both quantitatively and qualitatively on mouse brain slices with fluorescently labelled blood vessels. Because of the drastic reduction in scan time and storage space, our setup and method are directly applicable to real-time in vivo 3D microscopy. We provide analysis of the optical design, of the network architecture and of our training procedure to optimally reconstruct volumes for a given target depth range. To train our network, we built a data set of 362 light field images of mouse brain blood vessels and the corresponding aligned set of 3D confocal scans, which we use as ground truth. The data set will be made available for research purposes.

研究の動機と目的

• 従来の共焦点顕微鏡の高い光傷害、長時間のスキャン、大容量のストレージ要件を解決すること。
• モデルベースのデコンボリューションにおけるLFMの限界、すなわち低い空間分解能、アーチファクト、高い計算コストを克服すること。
• 合成データではなく、実際のデータを用いたアライメント済みデータを用いて、1枚のLFM画像から高忠実度の3次元ボリュームを再構成する深層学習手法を開発すること。
• 大幅に短縮された取得および再構成時間により、実時間での生体内3次元イメージングを実現すること。

提案手法

• 1枚のLFM画像から3次元ボリュームを再構成するためのU-Netにインspiredされた畳み込みニューラルネットワークアーキテクチャ、LFMNetを提案する。
• 362組のペア化された光場画像とそれに対応する3次元共焦点顕微鏡スタックからなる実データセットを用いてネットワークを訓練する。
• 手動ラベルなしでLFM画像と共焦点ボリュームをアライメントするための新規なアライメント技術を採用。この技術はモデルベース再構成と2次元相関マップを用いる。
• 空間的および角度的ビューを持つ4次元光場表現を採用。各マイクロレンズは異なる角度からの光を捉える。
• アライメントの品質を向上させるために、デコンボリューションベースの手法を用いて近似的にシャープなボリュームを生成する。
• 光学設計とPSFモデリングに基づき、特定の深度範囲に焦点を当てたネットワーク訓練を最適化する。

実験結果

リサーチクエスチョン

• RQ1 実際のLFMおよび共焦点データでトレーニングされた深層学習モデルは、共焦点顕微鏡と同等の再構成品質を達成できるか？
• RQ2 合成データではなく実データを用いることで、LFM画像からの3次元再構成の性能と一般化能力にどのような影響を与えるか？
• RQ3 深層学習モデルは、高い空間分解能を維持したまま、スキャン時間とストレージ要件をどの程度短縮できるか？
• RQ4 提案手法により、1秒未満の再構成時間で実時間での生体内3次元顕微鏡が可能になるか？
• RQ5 定義された深度範囲内で高精度な再構成を実現するための最適な光学的およびネットワーク設計は何か？

主な発見

• LFMNetは112×112×57.6µm³のボリューム（1287×1287×64ボクセル）を50msで再構成し、共焦点スキャン時間を720倍短縮し、ストレージを64倍削減する。
• マウス脳スライス（蛍光標識血管）を用いた検証により、共焦点画像とほぼ同等の再構成品質を達成する。
• 実際のペアデータ（362枚のLFM画像とアライメント済み共焦点スタック）を用いることで、合成データでのトレーニングに比べて優れた一般化性能を実現する。
• アライメント手順は十分な精度（ピクセル未満の精度）を達成しており、手動ラベルなしで高品質なトレーニングを可能にする。
• ネットワークは1秒間に10フレームの再構成を達成し、主にカメラ露出時間（100ms）が制限要因であるため、実時間イメージングの可能性を有する。
• 光学設計とPSFモデリングの結果、2.8µmの物体によるぼやけが約20個のマイクロレンズにわたることを示し、これによりネットワークの入力およびカーネルサイズの選定が支援される。