[論文レビュー] Deep Learning Enhanced Extended Depth-of-Field for Thick Blood-Film Malaria High-Throughput Microscopy

Petru Manescu, Lydia Neary‐Zajiczek+11 more|arXiv (Cornell University)|Jun 18, 2019

Digital Imaging for Blood Diseases参考文献 12被引用数 5

ひとこと要約

本論文では、赤血球の厚さの血塗料顕微鏡法におけるzスタックから、従来のマルチスケール分解技術と比較して、著しく高速かつ高品質な拡張深度のフォーカス（EDoF）画像を迅速に生成するための深層学習手法、EDoF-CNNを提案する。プラズモジウム・ファalciparムマラリア症例を用いた評価により、EDoF-CNNは自動診断システムにおける寄生虫検出の正確性を向上させ、低資源環境におけるスケーラブルで高スループットなデジタル病理学を可能にする。

ABSTRACT

Fast accurate diagnosis of malaria is still a global health challenge for which automated digital-pathology approaches could provide scalable solutions amenable to be deployed in low-to-middle income countries. Here we address the problem of Extended Depth-of-Field (EDoF) in thick blood film microscopy for rapid automated malaria diagnosis. High magnification oil-objectives (100x) with large numerical aperture are usually preferred to resolve the fine structural details that help separate true parasites from distractors. However, such objectives have a very limited depth-of-field requiring the acquisition of a series of images at different focal planes per field of view (FOV). Current EDoF techniques based on multi-scale decompositions are time consuming and therefore not suited for high-throughput analysis of specimens. To overcome this challenge, we developed a new deep learning method based on Convolutional Neural Networks (EDoF-CNN) that is able to rapidly perform the extended depth-of-field while also enhancing the spatial resolution of the resulting fused image. We evaluated our approach using simulated low-resolution z-stacks from Giemsa-stained thick blood smears from patients presenting with Plasmodium falciparum malaria. The EDoF-CNN allows speed-up of our digital-pathology acquisition platform and significantly improves the quality of the EDoF compared to the traditional multi-scaled approaches when applied to lower resolution stacks corresponding to acquisitions with fewer focal planes, large camera pixel binning or lower magnification objectives (larger FOV). We use the parasite detection accuracy of a deep learning model on the EDoFs as a concrete, task-specific measure of performance of this approach.

研究の動機と目的

• 高倍率（100倍）オイル浸漬レンズを用いた厚さの血塗料マラリア顕微鏡法における深度のフォーカスが限られているという課題に対処すること。
• 高スループットのデジタル病理学におけるEDoF再構成に用いられる従来のマルチスケール分解手法の時間的コストの高い性質を克服すること。
• 同時に深度のフォーカス拡張と空間分解能の向上を実現する深層学習ベースの手法を開発すること。
• 下流の寄生虫検出モデルにEDoF画像を入力として用いることで、自動マラリア診断の性能を向上させること。

提案手法

• 本手法は、低解像度の画像のzスタックを統合して1枚の高品質なEDoF画像に変換するための畳み込みニューラルネットワーク（EDoF-CNN）を採用する。
• ネットワークは、プラズモジウム・ファルシパラム寄生虫を含むギムザ染色による厚さの血塗料から得られるシミュレートされたzスタックを用いてエンド・ツー・エンドで訓練される。
• EDoF-CNNは、複数の焦点面にわたるシャープで合焦した画像を再構成するとともに、入力解像度を上回る空間分解能を向上させる学習を行う。
• 本手法は効率性を最適化しており、リアルタイムまたはニアリアルタイム処理が可能で、高スループットスクリーニングに適している。
• モデルの評価は、従来のEDoF手法と比較して、寄生虫検出の正確性というタスク固有の指標を用いて実施される。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、厚さの血塗料顕微鏡法におけるEDoF再構成において、従来のマルチスケール分解手法と比較して、速度と画像品質の面で優れていると言えるか？
• RQ2 EDoF-CNNは、ベースライン手法と比較して、再構成されたEDoF画像の空間分解能をどの程度向上させているか？
• RQ3 EDoF-CNNを用いることで、自動マラリア診断システムにおける下流の寄生虫検出の正確性はどのように変化するか？
• RQ4 EDoF-CNNは、少ない焦点面数、大きなピクセルバイニング、または低倍率のレンズからの低解像度zスタックを効果的に処理できるか？

主な発見

• EDoF-CNNは、従来のマルチスケール分解手法と比較して、EDoF再構成における著しい高速化を達成し、より迅速な高スループットイメージングを可能にする。
• 本手法は、特に低解像度の入力スタックにおいて、シャープネスと解像度が向上した高品質なEDoF画像を生成する。
• 下流の深層学習モデルを用いた寄生虫検出の正確性は、従来のEDoF手法と比較して、EDoF-CNNによって生成された画像を用いることで顕著に向上する。
• 性能向上は、焦点面数の減少、ピクセルバイニングの増大、または低倍率のレンズを用いた困難な画像条件において特に顕著である。