[論文レビュー] ML-SIM: A deep neural network for reconstruction of structured illumination microscopy images

Charles N. Christensen, Edward Ward+2 more|arXiv (Cornell University)|Mar 24, 2020

Advanced Fluorescence Microscopy Techniques参考文献 30被引用数 9

ひとこと要約

本稿では、高精度でアーティファクトが少なく、リアルタイム性能を備えた構造的照明顕微鏡（SIM）画像の再構成を実現する深層畳み込みニューラルネットワーク、ML-SIMを提案する。実験的微調整なしにシミュレーテッドデータで訓練された本手法は、ノイズが多いか不規則な照明条件下でも高速かつ頑健な再構成を実現し、従来手法に比べてノイズ耐性、コントラスト、再構成速度（1フレームあたり100ms）で優れる。

ABSTRACT

Structured illumination microscopy (SIM) has become an important technique for optical super-resolution imaging because it allows a doubling of image resolution at speeds compatible for live-cell imaging. However, the reconstruction of SIM images is often slow and prone to artefacts. Here we propose a versatile reconstruction method, ML-SIM, which makes use of machine learning. The model is an end-to-end deep residual neural network that is trained on a simulated data set to be free of common SIM artefacts. ML-SIM is thus robust to noise and irregularities in the illumination patterns of the raw SIM input frames. The reconstruction method is widely applicable and does not require the acquisition of experimental training data. Since the training data are generated from simulations of the SIM process on images from generic libraries the method can be efficiently adapted to specific experimental SIM implementations. The reconstruction quality enabled by our method is compared with traditional SIM reconstruction methods, and we demonstrate advantages in terms of noise, reconstruction fidelity and contrast for both simulated and experimental inputs. In addition, reconstruction of one SIM frame typically only takes ~100ms to perform on PCs with modern Nvidia graphics cards, making the technique compatible with real-time imaging. The full implementation and the trained networks are available at http://ML-SIM.com.

研究の動機と目的

• 従来のSIM再構成手法に見られる遅さ、アーティファクトの発生、ノイズやパrameter誤差への感受性といった限界を解消すること。
• 特にライブセルイメージングにおいて、不規則な位相ステップやノイズを含む実験的SIMデータに対しても頑健な再構成手法を開発すること。
• 深層学習を用いて、1フレームあたりの処理時間を秒から約100msに短縮することで、リアルタイムSIM再構成を実現すること。
• 実験的トレーニングデータを不要にするために、実際のイメージング条件を模擬した合成SIMデータで学習すること。
• 特定の実験的SIM装置にカスタマイズ可能な汎用的かつ柔軟なフレームワークを構築することを目的とし、シミュレーションパrameterを用いて調整可能とする。

提案手法

• ML-SIMは、生の9フレームSIMスタックをスーパーレゾolution画像にマッピングするエンドツーエンドの深層残差ニューラルネットワーク（ResNet）アーキテクチャを採用している。
• トレーニングデータは、OpenSIMライブラリを用いたシミュレーションにより生成され、PSFのぼかし、ノイズ、照明パターンのパrameterを含む、完全なSIMイメージングプロセスをモデル化している。
• シミュレーションには、空間周波数 $k_0$、方位角 $\theta$、位相 $\phi$、変調深度 $m$ のランダムエラーを含む、現実的でない不具合も組み込まれている。
• モデルはDIV2Kデータセットの画像を用いて学習され、以下の式に従ってイメージングプロセスをシミュレートする：$ D_{\theta,\phi} = (S \cdot I_{\theta,\phi}) \otimes H + N $、ここで $S$ はサンプル、$I_{\theta,\phi}$ は照明パターン、$H$ はPSF、$N$ はガウスノイズを表す。
• ネットワークは再構成誤差を最小化し、アーティファクトを抑制するように最適化され、入力データがノイズが多いか不定な場合でも、高周波成分を回復できるように学習する。
• 本手法は柔軟に適応可能である：NA、ピクセルサイズ、波長などのシミュレーションパrameterを調整することで、再訓練なしに特定の実験的システムに適合させることができる。

実験結果

リサーチクエスチョン

• RQ1 合成データのみでトレーニングされた深層学習モデルが、実験的トレーニングデータを一切必要とせずに、高品質なSIM再構成を達成できるか？
• RQ2 ノイズが多い状態や不規則な位相ステップを含む状況下で、ML-SIMは従来手法に比べてどのように性能を発揮するか？
• RQ3 ML-SIMは、シミュレーテッドおよび実験的SIMデータにおいて、再構成アーティファクトをどれほど低減し、コントラストと忠実度を向上できるか？
• RQ4 1フレームあたりの推論時間が約100msであるML-SIMは、ライブセルイメージングに適したリアルタイム再構成速度を達成できるか？
• RQ5 本手法は、さまざまなSIM実装に一般化可能であり、実験的データを再トレーニングすることなく、シミュレーションのみで新しい実験的セットに適応可能か？

主な発見

• ML-SIMは、現代のNvidia GPU上で1フレームあたり約100msの再構成時間を達成し、ライブセルイメージング中のリアルタイム処理を可能にする。
• 本手法は、一般的なSIM再構成アーティファクトを顕著に低減し、特に信号対ノイズ比が低い状況では、従来手法がノイズを信号と誤認するのを効果的に防ぐ。
• FairSIM、OpenSIM、および相互相関ベースの再構成手法と比較して、ML-SIMは優れた再構成忠実度とコントラストを示す。
• 入力データに不規則な位相ステップやパrameter誤差が含まれても、本手法は従来手法よりも優れた性能を維持する。特に、位相シフトが不安定な干渉型SIM設定下で顕著な優位性を示す。
• 本手法は非常に適応可能である：NA、ピクセルサイズ、波長などのシミュレーションパrameterを調整することで、再トレーニングなしに異なる実験的SIMシステムに効率的にカスタマイズ可能である。
• 完全な実装およびトレーニング済みモデルは http://ML-SIM.com で公開されており、再現性とコミュニティの採用を支援している。