[논문 리뷰] Automatic Health Problem Detection from Gait Videos Using Deep Neural Networks

Rahil Mehrizi, Xi Peng외 3명|arXiv (Cornell University)|2019. 06. 04.

Gait Recognition and Analysis참고 문헌 37인용 수 9

한 줄 요약

이 논문은 소비자용 카메라를 사용하여 영상에서 추출한 3D 신체 자세 시계열을 분석함으로써 파킨슨병, 뇌졸중 후 상태, 정형외과적 문제와 같은 걸음걸이 관련 건강 문제를 탐지하는 딥러닝 시스템을 제안한다. 이 방법은 분류 정확도가 56–96%에 이르며, 거짓 양성률(1/25)과 거짓 음성률(1/70)이 매우 낮아 전문 장비나 수동적 특징 공학 없이 실생활에서의 가정 내 걸음걸이 모니터링이 가능하다.

ABSTRACT

The aim of this study is developing an automatic system for detection of gait-related health problems using Deep Neural Networks (DNNs). The proposed system takes a video of patients as the input and estimates their 3D body pose using a DNN based method. Our code is publicly available at https://github.com/rmehrizi/multi-view-pose-estimation. The resulting 3D body pose time series are then analyzed in a classifier, which classifies input gait videos into four different groups including Healthy, with Parkinsons disease, Post Stroke patient, and with orthopedic problems. The proposed system removes the requirement of complex and heavy equipment and large laboratory space, and makes the system practical for home use. Moreover, it does not need domain knowledge for feature engineering since it is capable of extracting semantic and high level features from the input data. The experimental results showed the classification accuracy of 56% to 96% for different groups. Furthermore, only 1 out of 25 healthy subjects were misclassified (False positive), and only 1 out of 70 patients were classified as a healthy subject (False negative). This study presents a starting point toward a powerful tool for automatic classification of gait disorders and can be used as a basis for future applications of Deep Learning in clinical gait analysis. Since the system uses digital cameras as the only required equipment, it can be employed in domestic environment of patients and elderly people for consistent gait monitoring and early detection of gait alterations.

연구 동기 및 목표

• 소비자용 카메라만을 사용하여 영상 입력으로부터 자동화되고 저비용인 걸음걸이 관련 건강 문제 탐지 시스템을 개발하는 것.
• 소비자용 카메라를 활용함으로써 전문 장비나 임상 실험실 환경이 필요 없도록 하는 것.
• 딥 뉴럴 네트워크가 원시 영상 데이터로부터 고수준의 의미적 특징을 직접 학습할 수 있도록 함으로써 수동적 특징 공학의 필요성을 제거하는 것.
• 노인이나 위험군 개인의 걸음걸이 악화를 조기에 탐지하기 위해 가정 환경에서 지속적인 걸음걸이 모니터링을 가능하게 하는 것.
• 실제 적용이 가능한 딥러닝 응용 기반의 임상적 걸음걸이 분석에 기초를 마련하는 것.

제안 방법

• 시스템은 깊이 신경망을 사용하여 영상에서 시간에 따라 변화하는 3D 신체 자세를 추정하고, 관절 위치의 시간적 시계열을 생성한다.
• 생성된 3D 자세 시간 시계열은 네 가지 카테고리—정상, 파킨슨병, 뇌졸중 후 상태, 정형외과적 문제—를 구분하는 분류기로 입력된다.
• 이 방법은 엔드 투 엔드 학습에 의존하며, 원시 영상에서 관련 의미적 표현을 네트워크가 추출할 수 있도록 하여 도메인 특화된 특징 공학을 피한다.
• 이 접근법은 전용 장비가 아닌 표준 디지털 카메라만을 입력으로 사용하므로, 가정이나 공동체 환경에서의 구현에 적합하다.
• 시스템은 임상적 주석이 부여된 걸음걸이 영상 데이터셋을 기반으로 훈련 및 평가되며, DNN 기반의 자세 추정 파이프라인을 사용한다.
• 최종 분류 모델은 잘못된 분류를 최소화하도록 훈련되며, 정상군과 환자군 모두에서 뛰어난 성능을 보였다.

실험 결과

연구 질문

• RQ1 소비자용 카메라에서 촬영한 영상 데이터만을 사용하여 딥러닝 시스템이 걸음걸이 장애를 정확하게 분류할 수 있는가?
• RQ2 엔드 투 엔드 딥 뉴럴 네트워크가 걸음걸이 분석에서 수동적 특징 공학을 얼마나 대체할 수 있는가?
• RQ3 실생활 걸음걸이 모니터링 상황에서 이 시스템이 거짓 양성 및 거짓 음성률을 얼마나 효과적으로 줄일 수 있는가?
• RQ4 제안된 방법은 지속적이고 장기적인 걸음걸이 모니터링을 위해 가정 환경에 구현 가능한가?
• RQ5 특수 장비 없이 다양한 걸음걸이 장애에서 어떤 정도의 분류 정확도를 달성할 수 있는가?

주요 결과

• 시스템은 네 가지 건강 카테고리에서 56%에서 96%의 분류 정확도를 기록했으며, 파킨슨병과 정형외과적 문제에서 가장 높은 성능을 보였다.
• 25명의 정상군 중 한 명만이 걸음걸이 장애가 있다고 잘못 분류되어 매우 낮은 거짓 양성률을 나타냈다.
• 70명의 환자 중 한 명만이 정상으로 잘못 분류되어 낮은 거짓 음성률을 입증했다.
• 이 방법은 전문 장비나 실험실 인프라의 필요성을 완전히 제거하여 가정 기반 구현이 가능했다.
• 전문가가 정의한 특징이 없이도 미세한 걸음걸이 이상을 효과적으로 탐지하는 데 성공했다.
• 결과적으로 이 시스템은 임상 및 노인 간병 분야에서 확장 가능하고 자동화된 걸음걸이 모니터링의 강력한 잠재력을 보여주었다.