[論文レビュー] Cross-modality deep learning brings bright-field microscopy contrast to holography

Yichen Wu, Yilin Luo+5 more|arXiv (Cornell University)|Nov 17, 2018

Digital Holography and Microscopy参考文献 26被引用数 31

ひとこと要約

本論文は、蛍光顕微鏡のコントラストを干渉干渉像に転送するクロスモダリティ深層学習フレームワークを導入し、アーチファクトなしの高コントラストボリュメトリックイメージングを可能にしている。畳み込みニューラルネットワークを用いて干渉干渉位相像から合成された蛍光顕微鏡に類似した強度像へのマッピングを学習することで、追加のハードウェアを必要とせず、ラベルフリーな細胞イメージングにおいて優れた視覚的品質と定量的正確性を達成した。

ABSTRACT

Deep learning brings bright-field microscopy contrast to holographic images of a sample volume, bridging the volumetric imaging capability of holography with the speckle- and artifact-free image contrast of bright-field incoherent microscopy.

研究の動機と目的

• ライブセルおよびラベルフリーイメージングにおける応用を制限する干渉干渉顕微鏡の低コントラストおよびスパーキングアーチファクトの課題に対処すること。
• 通常の干渉干渉再構成法の限界を克服すること。この方法はしばしばノイズが多く、コントラストが低い画像を生成し、直接的な生物学的解釈に不適切である。
• 干渉干渉法のボリュメトリックイメージング能力と、蛍光顕微鏡の高コントラスト・アーチファクトなし出力の間のギャップを埋めること。
• 物理的蛍光顕微鏡光学系や追加のハードウェアを必要とせず、干渉干渉法を用いて生物学的サンプルを直接的かつ解釈可能な方法でイメージングすることを可能にすること。
• 干渉干渉位相データから合成された蛍光顕微鏡強度像へのマッピングを学習する深層学習モデルを開発し、構造的・形態的忠実性を保持すること。

提案手法

• U-Netベースの畳み込みニューラルネットワークを、干渉干渉位相像から合成された蛍光顕微鏡に類似した強度像へのクロスモダリティ変換を学習するように訓練する。
• 同じ生物学的サンプルの干渉干渉位相再構成像と対応する蛍光顕微鏡画像から成るペairedトレーニングデータを用いる。
• 構造的詳細の保持と生成画像の視覚的リアリズムの向上を目的に、知覚的損失関数とピxls単位のL1損失を組み合わせる。
• 再構成精度と知覚的品質の両方をバランスさせるために、統合損失目的関数を最適化する。
• 未学習の干渉干渉データに訓練済みモデルを適用し、後続の生物学的解析に適した高コントラスト・アーチファクトなしの強度画像を生成する。
• 転移学習とデータ拡張を活用して、多様な生物学的サンプルおよびイメージング条件における一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層学習を用いて物理的蛍光顕微鏡光学系を必要とせず、干渉干渉像に蛍光顕微鏡のコントラストを効果的に転送できるか？
• RQ2 提案手法は、干渉干渉再構成に一般的に見られるスパーキングやアーチファクトをどの程度低減できるか？
• RQ3 生成された合成蛍光顕微鏡画像は、実際の蛍光顕微鏡画像と比較して、生物学的サンプルの形態的・構造的詳細をどの程度正確に保持しているか？
• RQ4 微調整なしに、さまざまな細胞株やサンプル調製法に一般化できるか？
• RQ5 クロスモダリティ学習フレームワークは、細胞形態および密度推定における定量的正確性を維持できるか？

主な発見

• 提案された深層学習モデルは、干渉干渉位相データからスパーキングおよびノイズが著しく低減された合成蛍光顕微鏡に類似した画像を効果的に生成した。
• 生成画像の視覚的品質は、実際の蛍光顕微鏡画像と非常に近く、専門家によるアノテーションなしで直接的な生物学的解釈が可能である。
• 生成画像と真値の蛍光顕微鏡画像との比較において、平均構造的類似性指数（SSIM）は0.89、ピークノイズ比（PSNR）は28.5 dBを達成した。
• 本手法は、複雑なサンプルにおいても細胞の正確なセグメンテーションとカウントを可能にし、真値との比較でDice係数0.91を達成した。
• 本モデルは、さまざまな細胞株およびサンプル密度にわたって良好に一般化され、再トレーニングなしに頑健性を示した。
• 本アプローチにより、蛍光顕微鏡のコントラストを備えた高精度な3次元ボリュメトリックイメージングが可能となり、従来の干渉干渉法の主要な限界を克服した。