[논문 리뷰] Predicting Semen Motility using three-dimensional Convolutional Neural Networks

Priyansi Priyansi, Biswaroop Bhattacharjee외 1명|arXiv (Cornell University)|2021. 01. 08.

Sperm and Testicular Function참고 문헌 11인용 수 7

한 줄 요약

이 논문은 3D 합성곱 신경망(3D ResNet)을 제안하여 미세망원 영상에서 정자 운동성을 예측한다. 50프레임씩 사용한 9개 샘플로 구성된 테스트 세트에서 87.5%의 정확도를 달성하였다. 영상 클립으로부터 공간-시간적 특징을 활용하고 저자료 환경에서 최적화함으로써, 평균 추론 시간 400ms 내외로 빠르고 정확하며 재현 가능한 정자 분석이 가능해졌으며, 수동 또는 전통적인 CASA 방법에 비해 확장 가능한 대안을 제공한다.

ABSTRACT

Manual and computer aided methods to perform semen analysis are time-consuming, requires extensive training and prone to human error. The use of classical machine learning and deep learning based methods using videos to perform semen analysis have yielded good results. The state-of-the-art method uses regular convolutional neural networks to perform quality assessments on a video of the provided sample. In this paper we propose an improved deep learning based approach using three-dimensional convolutional neural networks to predict sperm motility from microscopic videos of the semen sample. We make use of the VISEM dataset that consists of video and tabular data of semen samples collected from 85 participants. We were able to achieve good results from significantly less data points. Our models indicate that deep learning based automatic semen analysis may become a valuable and effective tool in fertility and IVF labs.

연구 동기 및 목표

• 수동 또는 고비용의 CASA 시스템에 대한 의존도를 줄이기 위한 딥 러닝 기반 자동 정자 분석 방법을 개발하는 것.
• 기존 방법의 한계, 즉 높은 시간 소모, 데이터 민감도, 수동 평가 시 인간 오류를 해결하는 것.
• 특히 저자원 정자임신 클리닉에서 영상 데이터를 활용해 정자 운동성 예측의 정확도와 속도를 향상시키는 것.
• 표 형태의 임상 데이터 통합이 정자 운동성 분류 성능에 미치는 영향을 평가하는 것.

제안 방법

• 연구는 정자 샘플의 50프레임 영상 클립으로부터 공간-시간적 특징을 추출하기 위해 3D 합성곱 신경망(3D ResNet18 및 3D ResNet34)을 사용한다.
• 모든 영상가지 흑백으로 변환하여 데이터 크기를 줄이고 효율성을 향상시키며, 운동성과 관련된 구조적 패턴을 유지한다.
• 데이터 불균형(진행성 운동성 52개, 비진행성 운동성 9개, 정지상태 24개)을 보완하기 위해 클래스 가중치를 적용한 가중치가 부여된 교차 엔트로피 손실을 사용하여 모델을 훈련시킨다.
• 안정적인 훈련과 기울기 폭주 방지를 위해 가중치 감소와 기울기 클리핑(0.1)을 적용한 one-cycle 학습률 스케줄러를 사용한다.
• 일부 모델에서는 영상 특징과 함께 표 형태의 데이터(BMI, 혈청 호르몬 수치 등)를 결합하여 다중모달 입력을 탐색하지만, 이는 성능 저하를 초래하는 것으로 나타났다.
• 모든 모델는 PyTorch로 구현되었으며, 추론 시간은 약 400ms/샘플로 측정되어 실시간 적용 가능성을 시사한다.

실험 결과

연구 질문

• RQ1 제한된 영상 자료에서 3D 합성곱 신경망이 기존 방법이나 2D CNN 기반 방법보다 정자 운동성을 효과적으로 분류할 수 있는가?
• RQ2 표 형태의 임상 데이터 통합이 영상 기반 정자 운동성 분류 모델의 성능에 어떤 영향을 미치는가?
• RQ3 이러한 저자원 환경에서 모델의 깊이(ResNet18 대비 ResNet34)가 정확도와 일반화 능력에 얼마나 큰 영향을 미치는가?
• RQ4 제안된 방법이 정자임신 및 IVF 실험실의 실제 임상 현장 적용에 충분한 정확도와 속도를 확보하고 있는가?

주요 결과

• 3D ResNet18 모델은 검증 세트와 테스트 세트에서 각각 100%의 정확도를 기록하여 소규모 데이터셋에서도 강력한 일반화 능력을 보였다.
• 3D ResNet18 + 표 형태 데이터 모델은 테스트 세트에서 88.89%의 정확도를 달성하여, 다중모달 입력이 데이터 불균형에도 불구하고 성능 향상을 이끌 수 있음을 보여주었다.
• 3D ResNet34 + 표 형태 데이터 모델은 검증 세트에서 87.5%의 정확도, 테스트 세트에서는 77.78%의 정확도를 기록하여, 더 깊은 아키텍처에서의 중복된 특징으로 인해 과적합 또는 성능 저하가 발생할 수 있음을 시사했다.
• 최고의 성능을 보인 모델은 평균 추론 시간 400밀리초 내외로 87.5%의 테스트 정확도를 확보하여 실시간 배포 가능성을 뒷받침했다.
• 연구 결과, 표 형태 데이터는 부가적이고 잠재적인 데이터 泄露를 유발하여 모델 성능을 저하시키는 것으로 나타나, 운동성 예측에 있어 영상 전용 입력이 더 효과적임을 시사했다.
• 이 결과는 VISEM 데이터셋에서 분류 기반 정자 운동성 예측의 새로운 기준을 설정하였으며, 향후 자동 정자 분석 분야의 연구에 기여할 수 있다.