[論文レビュー] Advancing biological super-resolution microscopy through deep learning: a brief review

Tianjie Yang, Yaoru Luo+2 more|arXiv (Cornell University)|Jun 24, 2021

Advanced Fluorescence Microscopy Techniques参考文献 136被引用数 30

ひとこと要約

このレビューは、超解像顕微鏡における深層学習の最近の進展を統合し、ニューラルネットワークが空間的・時間的分解能を向上させるとともに光傷害を低減することで画像再構成を向上させることを示している。Deep-STORM、smNET、DFGANといった最先端のモデルは、わずかなアーティファクトで50 nm未満の分解能を達成し、ライブセル応用における高速で低光量のイメージングを可能にしている。

ABSTRACT

Super-resolution microscopy overcomes the diffraction limit of conventional light microscopy in spatial resolution. By providing novel spatial or spatio-temporal information on biological processes at nanometer resolution with molecular specificity, it plays an increasingly important role in life sciences. However, its technical limitations require trade-offs to balance its spatial resolution, temporal resolution, and light exposure of samples. Recently, deep learning has achieved breakthrough performance in many image processing and computer vision tasks. It has also shown great promise in pushing the performance envelope of super-resolution microscopy. In this brief Review, we survey recent advances in using deep learning to enhance performance of super-resolution microscopy. We focus primarily on how deep learning ad-vances reconstruction of super-resolution images. Related key technical challenges are discussed. Despite the challenges, deep learning is set to play an indispensable and transformative role in the development of super-resolution microscopy. We conclude with an outlook on how deep learning could shape the future of this new generation of light microscopy technology.

研究の動機と目的

• 深層学習を超解像顕微鏡に統合し、画像再構成を向上させるためのレビューを行う。
• アーティファクト低減、モデル一般化、耐性、解釈可能性に関する主な技術的課題を特定する。
• STORM、SIM、STED、PALMを含む多様な超解像モダリティにおける深層学習モデルの性能を評価する。
• 次世代の高性能光顕微鏡を実現するための深層学習の今後の方向性を提示する。

提案手法

• 畳み込みニューラルネットワーク（CNN）と生成対抗ネットワーク（GAN）を用い、低分解能、ノイズが多い、またはスパarsな生データから超解像画像を再構成する。
• 再構成忠実度を最適化するために、平均二乗誤差（MSE）、L1正則化、構造的類似性（SSIM）などの損失関数を採用する。
• 合成データおよび実験データセットを用いて学習を行い、一般化性能を向上させるためにペア化されたデータや拡張データを活用する。
• 物理的事前知識と設計された点拡散関数（PSF）を活用し、ネットワークの学習をガイドし、再構成精度を向上させる。
• トランスファー学習とドメイン適応技術を適用して、異なる顕微鏡やイメージング条件間での耐性を高める。
• NMSE、FWHM、PSNR、SSIM、FRCなどの指標を用いて、定量的にモデル性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層学習は、光傷害を最小限に抑えて、超解像顕微鏡の空間的・時間的分解能をどのように向上させることができるか？
• RQ2 特にアーティファクト、一般化、耐性の観点から、深層学習を超解像画像再構成に適用する際の主な技術的課題は何か？
• RQ3 深層学習ベースの手法は、古典的手法に比べて再構成忠実度と速度でどの程度優れているか？
• RQ4 ResNet、VGG16、U-Netなどの異なるネットワークアーキテクチャは、2D/3D-STORM、SIM、STEDなどの多様な超解像モダリティでどのように性能を発揮するか？
• RQ5 合成データで学習した深層学習モデルは、実際の実験的イメージング状況に効果的に一般化できるか？

主な発見

• Deep-STORMとsmNETは、2Dおよび3D-STORMで50 nm未満の分解能を達成し、ベースライン手法と比較してNMSEを最大50%まで低減した。
• DFGANおよびDFCANモデルは、SIM再構成においてNRMSEを30–40%低減し、分解能を向上させるとともに、分解相関アーティファクトを低減した。
• GANベースのモデル、例えばRes-UNetは、ワイドフィールドおよび共焦点イメージングでPSNRを5–8 dB向上させ、SSIMを0.1–0.2向上させた。
• ANNA-PALMのようなモデルは、PALMイメージングで時間的分解能を2–3倍向上させ、信号損失を最小限に抑えながら高速なライブセルイメージングを可能にした。
• 深層学習ベースのノイズ除去により、STEDおよびSMLMでレーザー露出量を最大50%まで低減し、光毒性を顕著に低下させた。
• 深層学習を用いたスペクトル分離により、マルチカラーイメージングにおけるクロスカラー混入を低減し、有効分解能と取得速度を向上させた。