[논문 리뷰] Sperm Detection and Tracking in Phase-Contrast Microscopy Image Sequences using Deep Learning and Modified CSR-DCF

Mohammad Reza Mohammadi, Mohammad Rahimzadeh외 1명|arXiv (Cornell University)|2020. 02. 11.

Sperm and Testicular Function참고 문헌 41인용 수 15

한 줄 요약

이 논문은 다중 프레임 입력을 통해 운동 특징을 학습할 수 있도록 한 RetinaNet 기반의 방법을 제안하여 단계 대비 현미경 영상에서 정상적인 운동 특징을 고려한 정확한 정자 검출 및 추적을 수행한다. 또한 다중 정자 추적을 위한 강력한 추적기로 수정된 CSR-DCF 알고리즘을 사용한다. 이 방법은 검출에서 평균 정밀도 99.1%와 추적에서 F1 점수 96.61%를 달성하여 고밀도, 음영, 복잡한 운동 조건에서도 정확도를 크게 향상시킨다.

ABSTRACT

Nowadays, computer-aided sperm analysis (CASA) systems have made a big leap in extracting the characteristics of spermatozoa for studies or measuring human fertility. The first step in sperm characteristics analysis is sperm detection in the frames of the video sample. In this article, we used RetinaNet, a deep fully convolutional neural network as the object detector. Sperms are small objects with few attributes, that makes the detection more difficult in high-density samples and especially when there are other particles in semen, which could be like sperm heads. One of the main attributes of sperms is their movement, but this attribute cannot be extracted when only one frame would be fed to the network. To improve the performance of the sperm detection network, we concatenated some consecutive frames to use as the input of the network. With this method, the motility attribute has also been extracted, and then with the help of the deep convolutional network, we have achieved high accuracy in sperm detection. The second step is tracking the sperms, for extracting the motility parameters that are essential for indicating fertility and other studies on sperms. In the tracking phase, we modify the CSR-DCF algorithm. This method also has shown excellent results in sperm tracking even in high-density sperm samples, occlusions, sperm colliding, and when sperms exit from a frame and re-enter in the next frames. The average precision of the detection phase is 99.1%, and the F1 score of the tracking method evaluation is 96.61%. These results can be a great help in studies investigating sperm behavior and analyzing fertility possibility.

연구 동기 및 목표

• 연속된 프레임에서의 운동 정보를 활용하여 고밀도, 노이즈가 많은 단계 대비 현미경 영상에서 정자 검출 정확도를 향상시키는 것.
• 음영, 충돌, 트랙 분할 등의 과제를 해결하기 위해 강력한 검출 기반 추적기를 개발하는 것.
• 운동 특징을 검출 단계에 통합하여 정자와 유사한 입자를 구분하는 능력을 향상시키는 것.
• 정확한 운동 파rameter 추출을 통해 생식력 평가를 지원하는 완전 자동화된 컴퓨터 보조 정자 분석(CASA) 시스템을 구축하는 것.

제안 방법

• 모든 객체 검출기로 딥 풀 컨볼루션 신경망인 RetinaNet을 사용하며, 연속된 영상 프레임을 연결하여 입력함으로써 운동 특징 학습이 가능하도록 한다.
• 검출기의 입력은 현재 프레임과 그 이전 및 이후 프레임을 연결하여 형성된 텐서로, 네트워크가 시공간적 운동 패턴을 학습할 수 있도록 한다.
• 다중 객체 추적을 위해 단일 객체 기반의 CSR-DCF 프레임워크를 확장한 수정된 CSR-DCF 알고리즘을 제안한다.
• 실제로 발생할 수 있는 잘못된 검출, 잘못된 검출 누락, 음영 또는 영역 외부 진입/이탈로 인한 트랙 손실 상황을 복구하기 위해 트랙 손실 복구기능과 보정 메커니즘이 포함되어 있다.
• 시스템은 검출 후 추적을 수행하며, 트랙 할당을 정밀하게 보정하고 잘못된 검출을 수정하기 위한 후처리 단계를 포함한다.
• 검증용 9개의 영상 데이터셋(로얀 연구소 제공 참조)을 사용하여 평가하였으며, VAP, STR, LIN과 같은 표준 운동 파rameter를 사용한다.

실험 결과

연구 질문

• RQ1 연속된 영상 프레임을 연결함으로써 네트워크가 운동 특징을 학습할 수 있게 되어 정자 검출 정확도가 향상되는가?
• RQ2 음영 및 충돌과 같은 도전적인 조건에서 수정된 CSR-DCF 추적기가 다수의 운동하는 정자를 어떻게 추적하는가?
• RQ3 기존의 CASA 방법에 비해 제안된 검출 및 추적 파이프라인은 F1 점수와 정밀도를 얼마나 향상시키는가?
• RQ4 추출된 운동 파rameter를 바탕으로 시스템은 운동하는 정자와 정지한 정자를 신뢰성 있게 구분할 수 있는가?
• RQ5 정자 이동 및 프레임 전환 중에 손실되거나 잘못 할당된 트랙을 복구하는 데 추적기가 얼마나 효과적인가?

주요 결과

• 제안된 검출 방법은 검증 데이터셋에서 평균 정밀도 99.1%를 달성하여 다양한 조건에서 정자 식별의 높은 정확도를 입증하였다.
• 수정된 CSR-DCF 추적기는 F1 점수 96.61%를 기록하여 CSR-DCF(90.06%)와 HDBN(76.79%)에 비해 유의미하게 뛰어난 추적 성능을 보였다.
• 정자 간 충돌, 음영, 트랙 손실 상황을 효과적으로 처리하였으며, 높은 비율로 정확한 트랙 복구와 낮은 수준의 잘못된 검출을 기록하였다.
• VAP(샘플 1에서 평균 134.35 μm/s) 및 STR(샘플 1에서 87.48%)와 같은 운동 파rameter가 정확하게 추출되어 생식력 평가에 기여하였다.
• 93.45%의 트랙이 정확하게 분류되었으며, 재현율(97.32%)과 정밀도(95.92%)가 모두 높아 실제 환경에서의 강건성을 입증하였다.
• 다양한 샘플에 대해 우수한 일반화 능력을 보였으며, 총 417개의 정자가 검출되었고, 9개의 검증 영상 전반에서 일관된 성능을 기록하였다.