[論文レビュー] A Deep Learning Bidirectional Temporal Tracking Algorithm for Automated Blood Cell Counting from Non-invasive Capillaroscopy Videos

Luojie Huang, Gregory N. McKay+1 more|arXiv (Cornell University)|Nov 26, 2020

Spectroscopy Techniques in Biomedical and Chemical Research参考文献 35被引用数 5

ひとこと要約

本稿では、SORTとCenterTrackを統合した深層学習ベースの双方向時系列追跡アルゴリズム、CycleTrackを提案する。非侵襲的毛細管内視鏡動画からの正確でリアルタイムな赤血球計数を可能にする。移動ベクトルを用いて時系列方向に前向きおよび後向きに細胞を追跡することで、96.58%の計数精度を達成。単独のトラッカーを上回る性能を発揮しながら、計算コストを低く抑え、生理的に整合する脈動的血流パターンを捉えることが可能である。

ABSTRACT

Oblique back-illumination capillaroscopy has recently been introduced as a method for high-quality, non-invasive blood cell imaging in human capillaries. To make this technique practical for clinical blood cell counting, solutions for automatic processing of acquired videos are needed. Here, we take the first step towards this goal, by introducing a deep learning multi-cell tracking model, named CycleTrack, which achieves accurate blood cell counting from capillaroscopic videos. CycleTrack combines two simple online tracking models, SORT and CenterTrack, and is tailored to features of capillary blood cell flow. Blood cells are tracked by displacement vectors in two opposing temporal directions (forward- and backward-tracking) between consecutive frames. This approach yields accurate tracking despite rapidly moving and deforming blood cells. The proposed model outperforms other baseline trackers, achieving 65.57% Multiple Object Tracking Accuracy and 73.95% ID F1 score on test videos. Compared to manual blood cell counting, CycleTrack achieves 96.58 $\pm$ 2.43% cell counting accuracy among 8 test videos with 1000 frames each compared to 93.45% and 77.02% accuracy for independent CenterTrack and SORT almost without additional time expense. It takes 800s to track and count approximately 8000 blood cells from 9,600 frames captured in a typical one-minute video. Moreover, the blood cell velocity measured by CycleTrack demonstrates a consistent, pulsatile pattern within the physiological range of heart rate. Lastly, we discuss future improvements for the CycleTrack framework, which would enable clinical translation of the oblique back-illumination microscope towards a real-time and non-invasive point-of-care blood cell counting and analyzing technology.

研究の動機と目的

• 非侵襲的毛細管内視鏡動画からの自動的・リアルタイムな赤血球計数システムの開発を目的とする。診断の現場応用を支援することを目的とする。
• 深層学習を用いて、毛細管動画シーケンスにおける高速で変形する赤血球の追跡という課題に取り組むこと。
• 単方向トラッカーに比べて、双方向時系列フローを活用することで、追跡の正確性と頑健性を向上させること。
• 斜め背面照光毛細管内視鏡を、実用的で非侵襲的な血液分析ツールとして臨床応用可能にする。

提案手法

• CycleTrackは、SORTとCenterTrackの2つのオンライン追跡モデルを統合し、統一された双方向追跡フレームワークを構築する。
• 移動ベクトルを用いて、連続するフレーム間で前向きおよび後向きの追跡を実行し、両方向の時系列における細胞の運動を推定する。
• 両方向からの追跡結果を統合することで、高速で変形する細胞における一貫性の向上とドリフトの低減を実現する。
• 2段階の推論パイプラインを採用：各フレームにおける赤血球の検出、その後に運動の事前知識を用いた時系列的関連付け。
• モデルは、1本の動画あたり1000フレームの毛細管内視鏡動画で訓練および評価され、通常の1分間の記録を模擬する。
• 追跡性能は、Multiple Object Tracking AccuracyおよびID F1スコアなどの標準指標を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 双方向時系列追跡アプローチは、毛細管内視鏡動画における高速で変形する赤血球の追跡精度を向上させることができるか？
• RQ2 双方向フレームワークにおけるSORTとCenterTrackの統合は、単方向追跡と比較して、赤血球計数精度において優れているか？
• RQ3 臨床用の毛細管内視鏡データにおいて、高い追跡精度を達成しながらも、リアルタイム性能を維持できるか？
• RQ4 CycleTrackで測定された赤血球の速度は、心拍数と整合する生理的脈動パターンを示すか？

主な発見

• テスト動画において、CycleTrackは65.57%のMultiple Object Tracking Accuracyおよび73.95%のID F1スコアを達成し、ベースライントラッカーを上回った。
• 8本のテスト動画において、96.58 ± 2.43%の赤血球計数精度を達成。独立したCenterTrack（93.45%）およびSORT（77.02%）を顕著に上回った。
• 9,600フレームから約8,000個の赤血球の追跡と計数に要した時間は800秒であり、計算オーバーヘッドが低いことが示された。
• 測定された赤血球の速度は、人間の心拍数の生理的範囲内で一貫した脈動的パターンを示し、本手法の生物学的妥当性が裏付けられた。
• 双方向設計により、細胞密度が高く変形が激しい状況下でも、追跡ドリフトの低減と頑健性の向上が効果的に実現された。