[論文レビュー] Convolutional neural network for Fourier ptychography video reconstruction: learning temporal dynamics from spatial ensembles.

Thanh Hai Nguyen, Yujia Xue+3 more|arXiv (Cornell University)|Apr 27, 2018

Advanced X-ray Imaging Techniques参考文献 44被引用数 8

ひとこと要約

本論文では、時間的動的変化を学習するために最初の時間フレームのデータのみを用い、高空間帯域幅積（SBP）の動的ライブセル動画をフォーリエペンタグラフィー顕微鏡（FPM）データから再構成する畳み込みニューラルネットワーク（CNN）を提案する。初期データセット内の細胞の空間的アンサンブルを活用することで、再構成速度が50倍速くなり（12800×10800位相画像で25秒）、1フレームあたり必要な画像数を約6倍削減し、追加の時間的データなしに撮影スループットを顕著に向上させた。

ABSTRACT

Convolutional neural networks (CNNs) have gained tremendous success in solving complex inverse problems for both problems involving independent datasets from input-output pairs of static objects, as well as sequential datasets from dynamic objects. In order to learn the underlying temporal statistics, a video sequence is typically used at the cost of network complexity and computation. The aim of this work is to develop a novel CNN framework to reconstruct video sequence of dynamic live cells captured using a computational microscopy technique, Fourier ptychographic microscopy (FPM). The unique feature of the FPM is its capability to reconstruct images with both wide field-of-view (FOV) and high resolution, i.e. a large space-bandwidth-product (SBP), by taking a series of low resolution intensity images. For live cell imaging, a single FPM frame contains thousands of cell samples with different morphological features. Our idea is to fully exploit the statistical information provided by this large spatial ensembles so as to learn temporal information in a sequential measurement, without using any additional temporal dataset. Specifically, we show that it is possible to reconstruct high-SBP dynamic cell videos by a CNN trained only on the first FPM dataset captured at the beginning of a time-series experiment. Our CNN approach reconstructs a 12800x10800 pixels phase image using only ~25 seconds, a 50x speedup compared to the model-based FPM algorithm. In addition, the CNN further reduces the required number of images in each time frame by ~6x. Overall, this significantly improves the imaging throughput by reducing both the acquisition and computational times. Our technique demonstrates a promising deep learning approach to continuously monitor large live-cell populations over an extended time and gather useful spatial and temporal information with sub-cellular resolution.

研究の動機と目的

• フォーリエペンタグラフィー顕微鏡（FPM）を用いて、動的ライブセル集団の高スループット・高分解能の動画再構成を可能にすること。
• 1フレームあたりの必要な画像数を最小限に抑えることで、FPMにおける計算および撮影時間を短縮すること。
• 追加の時間的トレーニングデータを必要とせず、単一の初期FPMデータセットから時間的ダイナミクスを学習すること。
• 最初のフレームにおける空間的セルアンサンブルの統計的多様性を活用し、動画シーケンス全体の時間的進化を推定すること。
• 広い視野で高分解能のサブセルレベル解像度を実現しつつ、著しく高速な再構成速度を達成すること。

提案手法

• 大規模な空間的セルアンサンブル（多様な形態的特徴を有するライブセル）を含む最初のFPMデータセットにのみ、深層CNNをトレーニングする。
• ネットワークは、初期データセットに内在する空間的多様性を時間的変動の代理として活用することで、時間的ダイナミクスを学習する。
• 低解像度の強度測定値から高SBP（12800×10800ピクセル）位相画像を再構成できるようにアーキテクチャを設計する。
• 微細な構造的詳細をサブセル分解能で保持しつつ、再構成誤差を最小化するようにモデルを最適化する。
• 従来のFPMと比較して、1フレームあたりの必要な画像数を約6倍削減する。
• ネットワークはリアルタイム推論速度を達成し、12800×10800ピクセルの再構成を約25秒で完了する。

実験結果

リサーチクエスチョン

• RQ1 単一の初期FPMデータセットからのみトレーニングされたCNNが、明示的な時間的監視なしに、動的ライブセル動画を効果的に再構成できるか？
• RQ2 1つのFPMフレームにおける空間的多様性を、時間系列全体の時間的ダイナミクス推定にどの程度活用できるか？
• RQ3 提案手法により、FPMにおける撮影時間および計算時間の両方を短縮しつつ、サブセル分解能を維持できるか？
• RQ4 CNNベースの再構成手法は、モデルベースのFPMと比較して、速度および画像品質の面でどの程度優れているか？
• RQ5 正確な動的セルイメージングを維持しつつ、1フレームあたりの必要な画像数を最大でどの程度削減できるか？

主な発見

• CNNは再構成時間に50倍の高速化を達成し、12800×10800ピクセルの位相画像再構成を約25秒で完了した。
• 従来のFPMと比較して、1フレームあたりの必要な画像数を約6倍削減した。
• トレーニングに最初のデータセットのみを用いても、高SBPの動的セル動画を効果的に再構成できた。
• 本手法はサブセル分解能を維持し、ライブセル集団の微細な形態的特徴を保持した。
• モデルベースのFPMアルゴリズムは、画像品質に顕著な損失なしに、速度で50倍も優れた性能を示した。
• 本技術により、長時間にわたり大規模なライブセル集団を継続的にモニタリングする高スループットな手法が可能になった。