[論文レビュー] High-throughput, high-resolution registration-free generated adversarial network microscopy

Hao Zhang, Xinlin Xie+4 more|arXiv (Cornell University)|Jan 7, 2018

Image Processing Techniques and Applications参考文献 42被引用数 8

ひとこと要約

本論文では、合成低分解能画像で訓練された生成対抗ネットワーク（GAN）を用いて、登録不要で高スループットかつ高分解能のスーパーキャラクタリゼーション顕微鏡法を提案する。学習された画像劣化モデルと対抗訓練を活用することで、1秒未塔の単一の低分解能測定値から、ギガピクセル規模でマルチカラーの高分解能画像（1.7 μm分解能）を再構築可能であり、顕微鏡の画像登録やハードウェア改造を必要としない。

ABSTRACT

We combine generative adversarial network (GAN) with light microscopy to achieve deep learning super-resolution under a large field of view (FOV). By appropriately adopting prior microscopy data in an adversarial training, the neural network can recover a high-resolution, accurate image of new specimen from its single low-resolution measurement. Its capacity has been broadly demonstrated via imaging various types of samples, such as USAF resolution target, human pathological slides, fluorescence-labelled fibroblast cells, and deep tissues in transgenic mouse brain, by both wide-field and light-sheet microscopes. The gigapixel, multi-color reconstruction of these samples verifies a successful GAN-based single image super-resolution procedure. We also propose an image degrading model to generate low resolution images for training, making our approach free from the complex image registration during training dataset preparation. After a welltrained network being created, this deep learning-based imaging approach is capable of recovering a large FOV (~95 mm2), high-resolution (~1.7 μm) image at high speed (within 1 second), while not necessarily introducing any changes to the setup of existing microscopes.

研究の動機と目的

• トレーニング中に複雑な画像登録を必要としない、光顕微鏡における高スループットで高分解能のスーパーキャラクタリゼーションイメージングを可能にすること。
• 複数の低分解能画像の正確なアライメントに依存する従来のスーパーキャラクタリゼーション手法の限界を克服すること。
• 多様な生物学的サンプルおよび顕微鏡モダリティに一般化可能なディープラーニングフレームワークを開発すること。
• 実際の高分解能・低分解能ペaired画像の収集を不要とし、学習された画像劣化モデルを用いて合成データを生成すること。
• 標準的な顕微鏡ハードウェアを用いて、ギガピクセルスケールでマルチカラーの画像をマイクロメートル未満の分解能で、高速かつリアルタイムに再構築すること。

提案手法

• 条件付き生成対抗ネットワーク（cGAN）を用い、対抗損失と知覚損失を用いて、単一の低分解能（LR）画像から高分解能（HR）再構築を行う。
• 実際のLR-HRペアを必要としないように、HRの真値から現実的なLR画像を合成するための微分可能な画像劣化モデルを導入する。
• 合成されたLR入力と実際のLR測定値の分布の一貫性を保つために、GANと同時にエンドツーエンドで劣化モデルを訓練する。
• 米国空軍の分解能基準、病理スライド、蛍光細胞、クリア化されたマウス脳組織を含む多様な生物学的サンプルでネットワークを訓練する。
• フレームワークは、ワイドフィールドおよびライトシート顕微鏡システムに適用可能であり、異なるイメージングモダリティ間での再構築を可能にする。
• 推論はリアルタイムで実行され、1枚あたり1秒未塔でギガピクセルスケールのHR再構築（最大約95 mm²）を生成する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのスーパーキャラクタリゼーション法は、画像登録を必要とせず、単一の低分解能測定値から高分解能イメージングを達成できるか？
• RQ2 合成された劣化画像分布は、多様な生物学的サンプルにおける実際の顕微鏡データにどの程度一般化できるか？
• RQ3 ギガピクセルスケールの再構築において、細かな構造的詳細とマルチカラー忠実度をどの程度保持できるか？
• RQ4 ワイドフィールドおよびライトシート顕微鏡を含むさまざまな顕微鏡プラットフォームに、ハードウェア改造なしで適用可能か？
• RQ5 実際の状況において、登録不要のGANベースのスーパーキャラクタリゼーションパイプラインの達成可能な分解能と再構築速度はどの程度か？

主な発見

• 本手法は、単一の低分解能入力から約1.7 μm分解能の高分解能再構築を達成し、元の顕微鏡の回折限界を著しく上回る。
• ギガピクセルスケールの再構築（最大約95 mm²）が1秒未塔で生成され、高スループットイメージングを可能にする。
• 米国空軍の分解能基準、ヒトの病理スライド、蛍光線維芽細胞、クリア化されたトランスジェニックマウス脳組織を含む多様なサンプルで、強力な性能を示す。
• 学習された劣化モデルの使用により、データセット準備段階での複雑な画像登録が不要となり、トレーニングの簡素化が可能になる。
• ワイドフィールドおよびライトシート顕微鏡を含む異なる顕微鏡モダリティに一般化可能であり、ハードウェアの変更なしに適用可能である。
• 再構築画像はマルチカラー忠実度と細かな構造的詳細を保持しており、実際の生物学的標本を用いた視覚的および定量的評価で検証された。