[論文レビュー] Quantitative Digital Microscopy with Deep Learning

Benjamin Midtvedt, Saga Helgadóttir+4 more|Figshare|Oct 16, 2020

Cell Image Analysis Techniques参考文献 83被引用数 4

ひとこと要約

本論文は、合成または拡張データを用いた定量的デジタル顕微鏡のための深層学習モデルの設計・学習・検証を可能にする、オープンソースで使いやすいソフトウェアフレームワークであるDeepTrack 2.0を紹介する。このフレームワークは、広範なプログラミング経験がなくても、高精度な粒子追跡、細胞数え上げ、分類が可能であり、顕微鏡分野における深層学習の導入の障壁を著しく低下させる。

ABSTRACT

Video microscopy has a long history of providing insights and breakthroughs for a broad range of disciplines, from physics to biology. Image analysis to extract quantitative information from video microscopy data has traditionally relied on algorithmic approaches, which are often difficult to implement, time consuming, and computationally expensive. Recently, alternative data-driven approaches using deep learning have greatly improved quantitative digital microscopy, potentially offering automatized, accurate, and fast image analysis. However, the combination of deep learning and video microscopy remains underutilized primarily due to the steep learning curve involved in developing custom deep-learning solutions. To overcome this issue, we introduce a software, DeepTrack 2.0, to design, train and validate deep-learning solutions for digital microscopy. We use it to exemplify how deep learning can be employed for a broad range of applications, from particle localization, tracking and characterization to cell counting and classification. Thanks to its user-friendly graphical interface, DeepTrack 2.0 can be easily customized for user-specific applications, and, thanks to its open-source object-oriented programming, it can be easily expanded to add features and functionalities, potentially introducing deep-learning-enhanced video microscopy to a far wider audience.

研究の動機と目的

• 動画顕微鏡における深層学習の応用に際しての高い習得曲線と実装の難しさを軽減するため、アクセスしやすく統合されたソフトウェアソリューションを提供すること。
• 従来のアルゴリズム的手法の制限を超えて、深層学習を用いた正確で高速かつ自動化された画像解析を定量的顕微鏡で実現すること。
• 手動でアノテートされたデータセットへの依存を減らすために、正確な真値が分かっている物理シミュレーションによる合成トレーニングデータの使用を促進すること。
• 非専門家向けのユーザーインターフェースと拡張可能でオブジェクト指向のコードベースを通じて、顕微鏡分野における深層学習へのアクセスを民主化すること。
• 特定の実験設定に最適化された効率的でデプロイ可能な深層学習モデルを提供することで、リアルタイムの解析とフィードバックシステムを実現すること。

提案手法

• DeepTrack 2.0は、非プログラマー向けに顕微鏡タスクのための深層学習モデルの設計・学習・検証を可能にするグラフィカルユーザーインターフェース（GUI）を提供する。
• フレームワークは、物理シミュレーションによる合成データ生成を用いたエンドツーエンドの学習をサポートしており、局在化・追跡・分類の正確な真値を保証する。
• 生成モデルには条件付き生成対抗ネットワーク（cGAN）を採用し、生成器損失 $ l_{\text{G}} = \nu \cdot \text{MAE}\{z_{\text{label}}, z_{\text{output}}\} + (1 - D(z_{\text{output}}))^2 $ と判別器損失 $ l_{\text{D}} = D(z_{\text{output}})^2 + (1 - D(z_{\text{label}}))^2 $ を使用する。ここで $ D $ は判別器ネットワークを表す。
• 最適化にはAdamを用い、学習率は0.0002、$ \beta_1 = 0.5 $ として1000エポック、1エポックあたり16のミニバッチで学習を実施する。
• データ拡張には、合成データ生成が非効率な場合に限り、実行時（on-the-fly）の画像変換を実施してトレーニングデータセットを拡張する。
• ソフトウェアはオープンソースでオブジェクト指向のアーキテクチャに基づいて構築されており、新しいモデルや機能のための拡張性とコミュニティ貢献を可能にしている。

Figure 1: Brief history of quantitative microscopy and particle tracking. A - B 1910–1950: The manual analysis era. A Examples of manually tracked trajectories of colloids in a suspension from Perrin’s experiment that convinced the world of the existence of atoms Perrin ( 1910 ) . The time resolutio

実験結果

リサーチクエスチョン

• RQ1 非専門家が定量的顕微鏡のための正確でアプリケーション固有のモデルを構築できるような深層学習フレームワークを開発することは可能か？
• RQ2 正確な真値が分かっている合成トレーニングデータは、従来のアルゴリズム的手法に比べて、粒子追跡や細胞解析においてどの程度優れた性能を示すか？
• RQ3 GUIベースの深層学習プラットフォームは、プログラミング経験が少ない顕微鏡画像解析研究者にとって、導入の障壁をどの程度低減できるか？
• RQ4 DeepTrack 2.0における実行時データ拡張は、複雑またはレアなサンプル形状の合成データ生成の制限を補完できるか？
• RQ5 深層学習は、光学的力制御や適応型イメージングなどのリアルタイムフィードバックシステムの実現に、どのような可能性を秘めているか？

主な発見

• DeepTrack 2.0は、完全に合成データを用いた学習により、正確な粒子局在化・追跡・特徴抽出を実現し、従来のアルゴリズム的手法と同等またはそれ以上の性能を達成した。
• フレームワークのcGANベースの画像生成モデルは、セグメンテーションマスクから現実的な細胞様画像を生成でき、細部のテクスチャが欠落しているものの、実験データと定性的に類似した外観を示した。
• 正確な真値が分かっている合成データの使用により、異なるイメージング設定や研究者間で一般化可能なモデルの学習が可能となり、人為的アノテーションデータセットの制限を克服した。
• GUIとオープンソースで拡張可能なオブジェクト指向のアーキテクチャのおかげで、プログラミング経験が少ない研究者でも、深層学習モデルの開発とデプロイが可能となり、導入の障壁が著しく低下した。
• フレームワークはリアルタイム推論の可能性を支持しており、画像パrameterや光学的力の動的制御に深層学習を活用するクローズドループ実験システムの実現に道を拓いた。
• 著者らは、物理シミュレーションが、特に単一粒子追跡のような高精度なタスクにおいて、顕微鏡分野における深層学習のデータ不足問題を解決する有効で強力な手段であることを示した。

Figure 2: Image segmentation with deep learning. A Lung cell classification and mutation prediction Coudray et al. ( 2018 ) , using Inception v3 Szegedy et al. ( 2015 ) : Non-overlapping tiles in the input are analyzed, returning a low-resolution segmentation mask, containing either just a binary cl