[논문 리뷰] Activity Recognition for Autism Diagnosis.

Anish Lakkapragada, Peter Washington외 1명|arXiv (Cornell University)|2021. 08. 18.

Autism Spectrum Disorder Research참고 문헌 39인용 수 4

한 줄 요약

이 논문은 영상에서 자폐증 관련 자극 행동인 손 흔들기(스티밍 행동)를 인식하기 위해 시간적 손 랜드마크 검출을 사용하는 경량 LSTM 모델을 제안한다. SSBD 데이터셋에서 검증 정확도와 F1 스코어가 각각 72%를 기록하였으며, 파라미터 수가 26,000 미만이어서 웨어러블 또는 원격 진단 시스템에 잠재적으로 구현 가능하다.

ABSTRACT

A formal autism diagnosis is an inefficient and lengthy process. Families often have to wait years before receiving a diagnosis for their child; some may not receive one at all due to this delay. One approach to this problem is to use digital technologies to detect the presence of behaviors related to autism, which in aggregate may lead to remote and automated diagnostics. One of the strongest indicators of autism is stimming, which is a set of repetitive, self-stimulatory behaviors such as hand flapping, headbanging, and spinning. Using computer vision to detect hand flapping is especially difficult due to the sparsity of public training data in this space and excessive shakiness and motion in such data. Our work demonstrates a novel method that overcomes these issues: we use hand landmark detection over time as a feature representation which is then fed into a Long Short-Term Memory (LSTM) model. We achieve a validation accuracy and F1 Score of about 72% on detecting whether videos from the Self-Stimulatory Behaviour Dataset (SSBD) contain hand flapping or not. Our best model also predicts accurately on external videos we recorded of ourselves outside of the dataset it was trained on. This model uses less than 26,000 parameters, providing promise for fast deployment into ubiquitous and wearable digital settings for a remote autism diagnosis.

연구 동기 및 목표

• 공식적인 자폐증 진단이 오랜 기간과 비효율적인 과정을 거쳐 지연 또는 놓친 진단가 자주 발생하는 문제를 해결하기 위해.
• 디지털 기술을 활용해 자폐증의 행동 징후, 특히 스티밍 행동을 자동으로 진단할 수 있는 원격 진단 도구를 개발하기 위해.
• 손 흔들기 탐지에 있어 컴퓨터 비전 기술을 사용할 때 발생하는 공개 학습 데이터의 희소성과 높은 영상 운동 변동성 문제를 극복하기 위해.
• 실시간 모니터링을 위해 일상적 또는 웨어러블 장치에 구현 가능한 계산 효율성이 뛰어난 모델을 만들기 위해.

제안 방법

• 영상 시퀀스에서 시간에 따라 2차원 손 랜드마크 검출을 통해 손 흔들기와 관련된 운동 패턴을 포착하는 시간적 특징을 추출한다.
• 이러한 시간적 손 랜드마크 시퀀스는 순차적 행동 패턴을 모델링하기 위해 장기적 단기 기억(LSTM) 순환 신경망에 입력된다.
• 모델은 손 흔들기 유무를 분류하기 위해 Self-Stimulatory Behaviour Dataset (SSBD)에서 엔드 투 엔드로 훈련된다.
• 파라미터 수를 줄여 계산 효율성을 최적화하여 엣지 디바이스에서 빠른 추론이 가능한 26,000 미만의 파라미터를 확보한다.
• 이 접근법은 실제 스티밍 영상 데이터에서 흔히 발생하는 희소성과 운동 불안정성을 다루기 위해 시간적 모델링을 활용한다.
• 외부 영상 데이터(SSFBD 외부에서 촬영된 영상)를 대상으로 일반화 성능을 평가하여 훈련 분포를 초월한 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 희소 데이터 환경에서 손 흔들기 행동을 분류하기 위해 시간적 손 랜드마크 시퀀스가 효과적으로 표현 가능한가?
• RQ2 SSBD에서 훈련된 LSTM 기반 모델이 훈련 세트에 포함되지 않은 외부 영상 데이터에 대해 얼마나 잘 일반화되는가?
• RQ3 26,000 미만의 파라미터를 가진 경량 모델이 실시간 웨어러블 자폐증 스크리닝에 대해 만족스러운 성능을 달성할 수 있는가?
• RQ4 컴퓨터 비전 기법이 자폐증 관련 스티밍 행동 탐지에서 운동 노이즈와 데이터 부족 문제를 어떻게 극복할 수 있는가?

주요 결과

• 제안된 모델은 손 흔들기 탐지에 대해 Self-Stimulatory Behaviour Dataset (SSBD)에서 약 72%의 검증 정확도를 기록하였다.
• 동일한 데이터셋에서 F1 스코어가 약 72%를 기록하여 이진 분류에서 정밀도와 재현율이 균형 잡혀 있음을 나타낸다.
• 학습 세트에 포함되지 않은 외부 영상 데이터로도 효과적으로 일반화되어 분포 이탈에 대한 강건성을 입증하였다.
• 최종 모델는 26,000 미만의 파라미터를 사용하여 자원 제약이 있는 웨어러블 또는 모바일 디바이스에 구현하기에 적합하다.
• LSTM에 의한 시간적 모델링은 높은 운동 변동성과 데이터 희소성에도 불구하고 손 흔들기의 역동적 특성을 효과적으로 포착한다.
• 시간에 따른 손 랜드마크 검출은 자폐증 관련 반복 행동을 식별하기 위한 신뢰성 있고 효율적인 특징 표현으로 기능한다.