[論文レビュー] Sperm Detection and Tracking in Phase-Contrast Microscopy Image Sequences using Deep Learning and Modified CSR-DCF

Mohammad Reza Mohammadi, Mohammad Rahimzadeh+1 more|arXiv (Cornell University)|Feb 11, 2020

Sperm and Testicular Function参考文献 41被引用数 15

ひとこと要約

本稿では、相対的コントラスト顕微鏡映像の連続フレームを入力として用いるRetinaNetを用いた深層学習ベースの手法を提案し、運動特徴を活用した動的な検出と、変更されたCSR-DCFトラッカーを用いたロバストなマルチスパーム追跡を実現する。本手法は、検出で99.1%の平均精度、追跡で96.61%のF1スコアを達成し、高密度、遮蔽、複雑な運動状態の下でも著しく精度を向上させる。

ABSTRACT

Nowadays, computer-aided sperm analysis (CASA) systems have made a big leap in extracting the characteristics of spermatozoa for studies or measuring human fertility. The first step in sperm characteristics analysis is sperm detection in the frames of the video sample. In this article, we used RetinaNet, a deep fully convolutional neural network as the object detector. Sperms are small objects with few attributes, that makes the detection more difficult in high-density samples and especially when there are other particles in semen, which could be like sperm heads. One of the main attributes of sperms is their movement, but this attribute cannot be extracted when only one frame would be fed to the network. To improve the performance of the sperm detection network, we concatenated some consecutive frames to use as the input of the network. With this method, the motility attribute has also been extracted, and then with the help of the deep convolutional network, we have achieved high accuracy in sperm detection. The second step is tracking the sperms, for extracting the motility parameters that are essential for indicating fertility and other studies on sperms. In the tracking phase, we modify the CSR-DCF algorithm. This method also has shown excellent results in sperm tracking even in high-density sperm samples, occlusions, sperm colliding, and when sperms exit from a frame and re-enter in the next frames. The average precision of the detection phase is 99.1%, and the F1 score of the tracking method evaluation is 96.61%. These results can be a great help in studies investigating sperm behavior and analyzing fertility possibility.

研究の動機と目的

• 連続フレームからの運動情報を利用することで、ノイズが多く高密度な相対的コントラスト顕微鏡映像におけるスパーム検出精度を向上させること。
• 遮蔽、衝突、トラック断片化といった課題に直面するマルチスパーム追跡を、ロバストな検出ベースのトラッカーで解決すること。
• 動力学的特徴を検出フェーズに統合することで、スパームと類似粒子の区別を向上させること。
• 不妊診断に役立てるため、正確な動力学的パrameter抽出を可能にする完全自動化されたコンピュータ支援スパーム分析（CASA）システムの構築。

提案手法

• オブジェクト検出器として、完全畳み込みニューラルネットワークであるRetinaNetを用い、連続する複数フレームを連結して入力することで、運動特徴の学習を可能にする。
• 検出器の入力は、現在のフレームとその直前および直後のフレームを連結して形成されるテンソルであり、空間的・時間的運動パターンの学習を可能にする。
• 複数スパームを同時に処理できるように、単一オブジェクト用のCSR-DCFフレームワークを拡張した、変更されたCSR-DCFアルゴリズムを提案する。
• トラッカーには、誤検出、誤検出漏れ、遮蔽やフレーム外への出入りによるトラック喪失に対処するための、欠損トラックの再結合および補正機構を含む。
• 検出と追跡の順序で処理を行い、トラックの割り当てを精緻化し、誤検出を是正するための後処理を実施する。
• 評価は、ロヤン研究所が提供したアノテーションを有する9本の検証用映像データセットを用い、VAP、STR、LINなどの標準的な動力学的パrameterを用いる。

実験結果

リサーチクエスチョン

• RQ1 連続する映像フレームを連結することで、ネットワークが動力学的特徴を学習可能となり、スパーム検出精度が向上するか？
• RQ2 遮蔽や衝突といった困難な条件下でも、変更されたCSR-DCFトラッカーは複数の動くスパームをどれほど効果的に追跡できるか？
• RQ3 提案手法の検出・追跡パイプラインは、既存のCASA手法と比較して、F1スコアおよび精度をどの程度向上させるか？
• RQ4 抽出された動力学的パrameterに基づいて、動くスパームと動かないスパームを信頼性高く区別できるか？
• RQ5 スパームの移動やフレーム遷移中に、トラックが失われたり誤って割り当てられたりした場合、トラッカーはどれほど効果的にそれらを回復できるか？

主な発見

• 提案された検出手法は、検証データセットで平均99.1%の精度を達成し、多様な条件下でもスパームの高精度な同定を実現した。
• 変更されたCSR-DCFトラッカーはF1スコア96.61%を達成し、CSR-DCF（90.06%）およびHDBN（76.79%）を著しく上回る追跡性能を示した。
• スパーム同士の衝突、遮蔽、トラック喪失に対しても効果的に対処でき、高いトラック回復率と最小限の誤検出を実現した。
• VAP（サンプル1では平均134.35 μm/s）やSTR（サンプル1では87.48%）といった動力学的パrameterが正確に抽出され、不妊診断に有効であることが示された。
• 93.45%のトラックが正確に分類され、再現率（97.32%）と精度（95.92%）が高く、実世界の状況でも高いロバスト性を示した。
• 本手法は多様なサンプルにわたって優れた汎化性能を示し、全9本の検証映像で合計417個のスパームが検出され、一貫した性能を発揮した。