[논문 리뷰] Towards human performance on automatic motion tracking of infant spontaneous movements.

Daniel Groos, Lars Adde외 3명|arXiv (Cornell University)|2020. 10. 12.

Infant Development and Preterm Care참고 문헌 36인용 수 6

한 줄 요약

이 연구는 1,424개의 영상으로 구성된 대규모 임상 데이터셋에서 네 개의 합성곱 신경망을 사용하여 유아 자발 운동을 위한 딥러닝 기반 운동 추적 시스템을 개발한다. 최고 성능을 보인 모델은 관찰자 간 변동성과 동일한 수준의 정밀도를 달성하면서도 임상 현장 적용에 적합한 계산 효율성을 유지한다.

ABSTRACT

Assessment of spontaneous movements can predict the long-term developmental outcomes in high-risk infants. In order to develop algorithms for automated prediction of later function based on early motor repertoire, high-precision tracking of segments and joints are required. Four types of convolutional neural networks were investigated on a novel infant pose dataset, covering the large variation in 1 424 videos from a clinical international community. The precision level of the networks was evaluated as the deviation between the estimated keypoint positions and human expert annotations. The computational efficiency was also assessed to determine the feasibility of the neural networks in clinical practice. The study shows that the precision of the best performing infant motion tracker is similar to the inter-rater error of human experts, while still operating efficiently. In conclusion, the proposed tracking of infant movements can pave the way for early detection of motor disorders in children with perinatal brain injuries by quantifying infant movements from video recordings with human precision.

연구 동기 및 목표

• 개발적 결과 예측을 위한 정밀한 유아 자발 운동 추적을 위한 자동화된 시스템 개발.
• 다양한 임상 영상 데이터에서 유아 운동 패tern과 신체 자세의 높은 변동성 문제 해결.
• 실제 임상 환경에서 고위험 유아 모니터링에 활용 가능한 합성곱 신경망의 정밀도 및 계산 효율성 평가.
• 소아 운동 평가 분야에서 자동화된 운동 추적과 인간 전문가의 앙케이트 정확도 간 격차 해소.

제안 방법

• 1,424개의 임상 영상로 구성된 새로운 대규모 데이터셋에서 네 가지 유형의 합성곱 신경망을 훈련 및 평가.
• 신경망이 예측한 관찰 키포인트 위치를 인간 전문가의 앙케이트 결과와 비교하여 정밀도 측정.
• 자동화된 시스템 성능 평가를 위해 인간 전문가 간 관찰자 간 오차를 기준으로 삼음.
• 실시간 또는 근접 실시간 임상 응용을 위한 타당성을 평가하기 위해 계산 효율성 측정.
• 유아의 신체 형태, 자세, 운동 역학의 큰 변동성을 처리할 수 있도록 모델 아키텍처 최적화.
• 예측된 키포인트 위치와 참값 간의 편차 지표를 사용하여 성능 평가.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 유아 자발 운동 추적에서 인간 전문가 수준의 키포인트 추정 정밀도를 달성할 수 있는가?
• RQ2 다양한 실생활 유아 운동 영상 데이터셋에서 다양한 합성곱 신경망 아키텍처의 성능은 어떻게 되는가?
• RQ3 최고 성능 모델의 계산 효율성은 어떠하며, 임상 현장 적용에 적합한가?
• RQ4 자동화된 시스템은 수동 평가 대비 관찰자 간 변동성을 얼마나 줄이는가?

주요 결과

• 최고 성능을 보인 합성곱 신경망은 인간 전문가의 관찰자 간 오차 수준과 동일한 키포인트 추정 정밀도를 달성.
• 실생활 임상 데이터셋에서 다양한 유아 자세, 운동, 영상 품질에 대해 높은 강건성을 보여줌.
• 최상위 모델의 계산 효율성은 실시간 또는 근접 실시간 요구 조건을 충족하는 임상 환경에의 구현 가능성을 뒷받침.
• 수동 앙케이트 의존도를 줄이면서도 임상 수준의 정밀도 유지.
• 결과는 자동화된 운동 추적 시스템이 산모 뇌손상이 있는 유아에서 운동 장애의 조기 발견 도구로 신뢰성 있게 기능할 수 있음을 시사.
• 1,424개 영상의 대규모 데이터셋에서의 성능은 임상 인구 집단 전반에 걸친 일반화 능력을 확인.