[論文レビュー] Deep neural networks automate detection for tracking of submicron scale particles in 2D and 3D

Jay Newby, Alison Schaefer+3 more|arXiv (Cornell University)|Apr 10, 2017

Species Distribution and Climate Change参考文献 6被引用数 9

ひとこと要約

本論文では、50,000個以上のパラメータを有する深層畳み込みニューラルネットワークを提案し、ユーザー定義の入力パrameterを必要とせずに、2Dおよび3D動画におけるサブミクロン粒子の追跡を自動化する。多様な動画条件で訓練されたモデルは、空間的・時間的不均一性が高く、信号対雑音比が低い複雑な生物学的環境においても、極めて低い誤検出率および見逃し率を達成し、従来の手法を上回る性能を発揮する。

ABSTRACT

Particle tracking is a powerful biophysical tool that requires conversion of large video files into position time series, i.e. traces of the species of interest for data analysis. Current tracking methods, based on a limited set of input parameters to identify bright objects, are ill-equipped to handle the spectrum of spatiotemporal heterogeneity and poor signal-to-noise ratios typically presented by submicron species in complex biological environments. Extensive user involvement is frequently necessary to optimize and execute tracking methods, which is not only inefficient but introduces user bias. To develop a fully automated tracking algorithm, we developed a convolutional neural network comprised of over 50,000 parameters, and employed deep learning to train the network on a diverse portfolio of video conditions. The neural network tracker, with no user-dependent input parameters, offered superior tracking performance, with exceptionally low lower false positive and false negative rates on both 2D and 3D simulated videos and 2D experimental videos of difficult-to-track species.

研究の動機と目的

• 従来の粒子追跡アルゴリズムにおける手動によるパrameterチューニングに起因する非効率性とユーザーバイアスを解消すること。
• サブミクロン粒子の画像処理において、信号対雑音比が低く、空間的・時間的不均一性が著しい状況を扱う際の、既存の追跡手法の限界を克服すること。
• 多様な生物学的イメージング条件下でも、ユーザー入力パrameterを一切必要としない完全自動化された追跡システムを開発すること。
• 深層学習を用いて、複雑な環境における検出が難しいサブミクロン粒子のロバストな追跡を可能にすること。

提案手法

• 動画データから直接特徴を学習できる、50,000以上のパラメータを有する畳み込みニューラルネットワーク（CNN）を採用する。
• 多様なシミュレート済みおよび実験的動画条件のポートフォリオを用いてネットワークを訓練し、さまざまなイメージング課題に一般化可能にする。
• ユーザー定義のしきい値やフィルタリングパrameterを必要とせず、粒子の検出と追跡を可能にするネットワークを設計する。
• 生の動画フレームから粒子の位置時間系列（トレース）を直接マッピングするエンドツーエンド学習を用いる。
• ラベル付きの粒子の軌道を用いて、バックプロパゲーションおよび確率的勾配降下法によりネットワークを最適化する。
• 2Dおよび3Dのシミュレート動画、および困難なサブミクロン種の実験的2D動画の両方で性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、サブミクロン粒子の追跡において、ユーザー定義パrameterの必要性を完全に排除できるか？
• RQ2 提案されたニューラルネットワークトレーサーの性能は、従来手法と比較して誤検出率および見逃し率の観点でどのように異なるか？
• RQ3 信号対雑音比や空間的・時間的ダイナミクスが異なる多様な動画条件下でも、モデルの一般化能力はどの程度高いか？
• RQ4 従来手法が失敗する複雑な生物学的環境において、モデルはロバストな追跡を達成できるか？

主な発見

• 深層ニューラルネットワークトレーサーは、2Dおよび3Dのシミュレート動画において、極めて低い誤検出率および見逃し率を達成した。
• 多様な動画条件下で、従来手法と比較して優れた追跡性能を示した。
• ユーザー依存の入力パrameterを一切必要としないため、追跡パイプラインの完全自動化が可能になった。
• 実験的2D動画において、検出が難しいサブミクロン粒子を高い正確性で追跡できた。
• 空間的・時間的不均一性が著しい複雑な生物学的環境においても、ネットワークの一般化能力が優れていた。
• アプローチにより、ユーザーの関与が著しく減少し、粒子追跡ワークフローにおけるユーザーバイアスが完全に排除された。