[논문 리뷰] Computer vision tools for the non-invasive assessment of autism-related behavioral markers

Jordan Hashemi, Thiago V. Spina외 5명|arXiv (Cornell University)|2012. 10. 25.

Autism Spectrum Disorder Research참고 문헌 20인용 수 17

한 줄 요약

이 논문은 비디오 분석을 통해 유아 및 영아에서 자폐증 관련 행동 지표를 자동으로 탐지하기 위한 컴퓨터 비전 도구를 제시한다. 주로 시각적 주의와 걸음걸이 비대칭성에 중점을 두며, 맞춤형 형태 모델을 통한 얼굴 기능 추적과 2D 신체 자세 추정을 조합하여 높은 정확도로 시각적 주의와 팔 비대칭성을 정량화한다. 이는 임상 및 연구 환경에서 조기에 자폐 스펙트럼 장애를 선별하기 위한 객관적이고 비침습적인 평가 방법을 제공한다.

ABSTRACT

The early detection of developmental disorders is key to child outcome, allowing interventions to be initiated that promote development and improve prognosis. Research on autism spectrum disorder (ASD) suggests behavioral markers can be observed late in the first year of life. Many of these studies involved extensive frame-by-frame video observation and analysis of a child's natural behavior. Although non-intrusive, these methods are extremely time-intensive and require a high level of observer training; thus, they are impractical for clinical and large population research purposes. Diagnostic measures for ASD are available for infants but are only accurate when used by specialists experienced in early diagnosis. This work is a first milestone in a long-term multidisciplinary project that aims at helping clinicians and general practitioners accomplish this early detection/measurement task automatically. We focus on providing computer vision tools to measure and identify ASD behavioral markers based on components of the Autism Observation Scale for Infants (AOSI). In particular, we develop algorithms to measure three critical AOSI activities that assess visual attention. We augment these AOSI activities with an additional test that analyzes asymmetrical patterns in unsupported gait. The first set of algorithms involves assessing head motion by tracking facial features, while the gait analysis relies on joint foreground segmentation and 2D body pose estimation in video. We show results that provide insightful knowledge to augment the clinician's behavioral observations obtained from real in-clinic assessments.

연구 동기 및 목표

• 유아 및 영아에서 자폐 스펙트럼 장애(ASD)를 조기에 탐지하는 데 도움이 되는 자동화되고 비침습적인 컴퓨터 비전 도구를 개발하기 위해.
• 임상 및 대규모 인구 연구에서 시간 소모가 크고 관찰자에 따라 달라지는 행동 평가의 한계를 해결하기 위해.
• 특히 시각적 주의와 걸음걸이 비대칭성을 포함한 핵심 행동 지표를 자폐증 관찰 척도-유아판(AOSI)에서 정량화하기 위해.
• 전문 훈련 없이도 일반의사 및 임상의가 영상 데이터를 사용해 객관적이고 반복 가능한 평가를 수행할 수 있도록 하기 위해.
• 자동화된 영상 분석을 통해 새로운 행동 지표를 체계적이고 데이터 기반으로 발견할 수 있는 기반을 마련하기 위해.

제안 방법

• 시스템은 첫 번째 프레임에서 단일 상호작용 분할 마스크를 기반으로 구축된 맞춤형 형태 모델(CSM)을 통해 2D 신체 자세 추정을 수행한다.
• 일괄적인 전경 분할 및 고밀도 광학 흐름을 사용하여 신체 운동을 추적하고, 영상 프레임 간에 자세 추정을 재초기화한다.
• CSM 모델은 체형의 계층적 구조를 고려한 애핀 변환을 통해 변형되며, 흉부에서 시작한다.
• 팔 비대칭성은 절대적인 관절 각도의 차이를 기반으로 한 정규화된 점수 함수를 사용하여 정량화되며, 임계값은 τ=45° 및 στ=τ/3로 설정된다.
• 전반적인 팔 비대칭성 점수 AS*는 상지와 전완의 비대칭성 점수 중 최댓값으로 정의되어, 자세와 사지 운동의 차이에 모두 민감하게 반응한다.
• 전방위 각도(f̂)는 방향성 비대칭성을 평가하는 데 사용되며, 비대칭 자세를 탐지하기 위해 절대 차이 임계값 45°가 설정된다.

실험 결과

연구 질문

• RQ1 컴퓨터 비전 기법을 사용하여 영상 데이터에서 영아의 시각적 주의 행동을 정확하고 자동으로 측정할 수 있는가?
• RQ2 2D 신체 자세 추정 및 형태 모델링을 어떻게 활용하여 자폐 스펙트럼 장애를 암시하는 미세한 운동 비대칭성을 유아에서 탐지할 수 있는가?
• RQ3 자기 분석을 통한 걸음걸이 및 사지 운동 분석이 수동 관찰에 비해 조기에 자폐 스펙트럼 장애를 탐지하는 데 얼마나 향상시킬 수 있는가?
• RQ4 반자동 시스템을 통해 임상 환경에서 행동 평가에 소요되는 시간과 전문 지식을 얼마나 줄일 수 있는가?
• RQ5 AOSI 기반 지표와 새로운 걸음걸이 분석을 통합하면 조기에 자폐 스펙트럼 장애를 선별하는 감도와 특이도를 얼마나 향상시킬 수 있는가?

주요 결과

• 맞춤형 형태 모델과 광학 흐름 기반 재초기화를 통해 시스템은 영상 시퀀스 전체에서 머리 움직임과 신체 자세를 성공적으로 추적한다.
• 팔 비대칭성 점수 AS*는 비대칭 자세를 효과적으로 포착하며, 1.0에 가까운 값은 상지 또는 전완 위치의 높은 비대칭성을 나타낸다.
• 제한된 초기 사용자 입력으로도 신체 자세 분할 및 추정에 강력한 성능을 발휘하여 임상 환경에서의 실용적 구현이 가능하다.
• 각도 차이를 기반으로 한 정규화된 비대칭성 점수의 사용은 다양한 자세에서 일관된 사지 비대칭성 정량화를 가능하게 한다.
• AOSI 기반 시각적 주의 지표와 걸음걸이 비대칭성 분석의 통합은 조기에 자폐 스펙트럼 장애를 선별하기 위한 다중 모odal 객관적 평가 프레임워크를 제공한다.
• 이 방법은 대규모 선별 및 연구 적용에 적합한 확장 가능하고 반복 가능하며 비침습적인 행동 평가를 가능하게 한다.