[論文レビュー] High-throughput, high-resolution Generated Adversarial Network Microscopy.

Hao Zhang, Xinlin Xie+4 more|arXiv (Cornell University)|Jan 7, 2018

Image Processing Techniques and Applications参考文献 33被引用数 4

ひとこと要約

本論文では、1枚の低解像度入力からギガピクセル級のマルチカラー画像を再構築することで、高スループットで高解像度のワイドフィールド顕微鏡法を実現するGANベースのスーパーキャラクタリゼーション手法を紹介する。敵対的学習において事前顕微鏡データを活用することで、1秒未塔で95 mm²のフィールドオブビューにおいて約1.7 µmの解像度を達成するが、既存の顕微鏡ハードウェアを変更せずに実現している。

ABSTRACT

We for the first time combine generated adversarial network (GAN) with wide-field light microscopy to achieve deep learning super-resolution under a large field of view (FOV). By appropriately adopting prior microscopy data in an adversarial training, the network can recover a high-resolution, accurate image of new specimen from its single low-resolution measurement. This capacity has been adequately demonstrated by imaging various types of samples, such as USAF resolution target, human pathological slides and fluorescence-labelled fibroblast cells. Their gigapixel, multi-color reconstructions verify a successful GAN-based single image super-resolution procedure. Furthermore, this deep learning-based imaging approach doesn;t necessarily introduce any change to the setup of a conventional wide-filed microscope, reconstructing large FOV (about 95 mm^2), high-resolution (about 1.7 {\mu}m) image at a high speed (in 1 second). As a result, GAN-microscopy opens a new way to computationally overcome the general challenge of high-throughput, high-resolution microscopy that is originally coupled to the physical limitation of system's optics.

研究の動機と目的

• 従来のワイドフィールド顕微鏡法が、同時に高解像度と広い視野を達成する上で直面する物理的制限を克服すること。
• 大規模なギガピクセル顕微鏡画像に対して効率的に動作する深層学習ベースのスーパーキャラクタリゼーション手法を開発すること。
• 1枚の低解像度測定値から高解像度画像を1秒未塔で高速再構築すること。
• 既存の顕微鏡ハードウェアを変更せずに、再構築画像の画像忠実性と構造的正確性を保持すること。

提案手法

• 低解像度から高解像度へのマッピングを学習するために、事前の顕微鏡データを用いた生成的敵対的ネットワーク（GAN）を訓練する。
• 再構築画像の知覚的品質と構造的正確性を向上させるために、敵対的学習を適用する。
• 1枚の低解像度入力から高解像度画像を再構築するようにネットワークを最適化し、マルチカラーおよび微細構造の詳細を保持する。
• 標準的なワイドフィールド顕微鏡と互換性があるように設計されており、ハードウェアの変更を必要としない。
• 一般化と新規標本における正確性を向上させるために、実際の顕微鏡データを訓練プロセスに組み込む。
• エンドツーエンドのフレームワークにより、高空間解像度（約1.7 µm）と広い視野（約95 mm²）のギガピクセル画像の再構築が可能になる。

実験結果

リサーチクエスチョン

• RQ1 GANベースのアプローチは、ワイドフィールド顕微鏡法において、広い視野で高解像度のスーパーキャラクタリゼーションイメージングを達成できるか？
• RQ2 深層学習モデルは、1枚の低解像度入力から微細構造の詳細をどれほど正確に再構築できるか？
• RQ3 本手法は、ハードウェアの変更なしに、高速再構築（1秒未塔）を維持できるか？
• RQ4 敵対的学習における事前の顕微鏡データの使用が、画像忠実性と解像度を向上させるか？
• RQ5 本手法は、病理スライドや蛍光標識細胞を含む多様な生物学的サンプルに一般化可能か？

主な発見

• 本手法は、1枚の低解像度入力から、約95 mm²のフィールドオブビューを持つギガピクセル級のマルチカラー画像を再構築することに成功している。
• 再構築画像は約1.7 µmの空間解像度に達しており、入力の低解像度画像よりも顕著に優れている。
• 再構築プロセスは1秒未塔で完了し、高スループットイメージングを実現している。
• 本手法は、USAFO解像度ターゲット、ヒト病理スライド、蛍光標識線維芽細胞など多様なサンプルで強力な性能を示している。
• 従来のワイドフィールド顕微鏡のセットアップに何ら変更を加える必要がなく、既存のハードウェアと互換性を保っている。
• 事前の顕微鏡データを用いた敵対的学習により、再構築画像の知覚的品質と構造的正確性が向上している。