[論文レビュー] Multicolor localization microscopy by deep learning

Eran Hershko, Lucien E. Weiss+2 more|arXiv (Cornell University)|Jul 4, 2018

Advanced Fluorescence Microscopy Techniques参考文献 39被引用数 3

ひとこと要約

本論文では、スペクトルフィルターや複雑な光学系を必要とせず、標準のグレースケールカメラを用いてマルチカラー局在顕微鏡を実現するディープラーニング手法を提案する。ポイントスプレッド関数の波長依存性を活用することで、静的および移動中の状態の両方において、単一発光体の色を正確に分類可能であり、さらに学習可能な位相変調素子を用いることで色分解能を向上させることができる。

ABSTRACT

Deep learning has become an extremely effective tool for image classification and image restoration problems. Here, we apply deep learning to microscopy, and demonstrate how neural networks can exploit the chromatic dependence of the point-spread function to classify the colors of single emitters imaged on a grayscale camera. While existing single-molecule methods for spectral classification require additional optical elements in the emission path, e.g. spectral filters, prisms, or phase masks, our neural net correctly identifies static as well as mobile emitters with high efficiency using a standard, unmodified single-channel configuration. Furthermore, we demonstrate how deep learning can be used to design phase-modulating elements that, when implemented into the imaging path, result in further improved color differentiation between species.

研究の動機と目的

• 追加のスペクトル光学部品を必要とせずにマルチカラー単分子局在顕微鏡を可能にすること。
• グレースケールカメラからの強度データのみを用いて、単一発光体の色を分類すること。
• ポイントスプレッド関数の色依存性を活用するディープラーニングフレームワークを構築すること。
• 学習によって位相変調素子を設計し、画像取得経路における色の区別能をさらに向上させること。

提案手法

• 畳み込みニューラルネットワークを、グレースケールカメラ上の強度パターンに基づいて単一発光体の色を分類するように訓練する。
• 異なる発光波長におけるポイントスプレッド関数の固有の色依存性を活用する。
• 静的および移動中の発光体をカバーするように、さまざまな色と位置をもつ単一発光体のシミュレートデータを用いてネットワークを訓練し、一般化性能を向上させる。
• 微分可能設計フレームワークを用いて、画像系におけるスペクトル分離を向上させる位相変調素子を最適化する。
• 訓練済みのニューラルネットワークを、ハードウェア改造なしに標準の単一チャンネル顕微鏡装置に実装する。
• ネットワークと併せて位相マスクを共同設計し、色分類精度を最大化する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングは、グレースケール強度データのみを用いて、単一発光体の色を正確に分類できるか？
• RQ2 スペクトルフィルターを用いずに、複数色の静的および移動中の発光体を区別できるか？
• RQ3 学習可能な位相変調素子は、標準的なイメージング設定を上回る色分解能を向上させられるか？
• RQ4 ポイントスプレッド関数の色変動が、単一チャンネルシステムにおける色分類をどのように可能にするか？

主な発見

• ディープラーニングモデルは、追加のスペクトル光学部品を必要とせず、グレースケールカメラのみを用いて単一発光体の色分類を高精度で実現した。
• 本手法は、静的および移動中の発光体を効率的に分類でき、運動に対するロバストネスを示した。
• ニューラルネットワークは、ポイントスプレッド関数の色依存性を活用して、強度パターンのみから発光体の色を推定した。
• 学習可能な位相変調素子は、色の区別能を顕著に向上させ、システムのスペクトル分解能を向上させた。
• 本アプローチにより、標準的で改造のない単一チャンネルイメージング設定でもマルチカラー局在顕微鏡が実現可能となった。