[논문 리뷰] One-shot action recognition towards novel assistive therapies.

Alberto Sabater, Laura Santos외 4명|arXiv (Cornell University)|2021. 02. 17.

Human Pose and Action Recognition참고 문헌 13인용 수 5

한 줄 요약

이 논문은 자동 치료 영상 분석을 위한 운동 데이터 표준화 및 표현을 위해 시간적 컨volution 네트워크(TCN)를 사용하는 일회성 동작 인식 방법을 제안하며, NTU-120 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하고 자폐증 환자 치료 지원 분야에서 뛰어난 실생활 적용 가능성을 입증한다.

ABSTRACT

One-shot action recognition is a challenging problem, especially when the target video can contain one, more or none repetitions of the target action. Solutions to this problem can be used in many real world applications that require automated processing of activity videos. In particular, this work is motivated by the automated analysis of medical therapies that involve action imitation games. The presented approach incorporates a pre-processing step that standardizes heterogeneous motion data conditions and generates descriptive movement representations with a Temporal Convolutional Network for a final one-shot (or few-shot) action recognition. Our method achieves state-of-the-art results on the public NTU-120 one-shot action recognition challenge. Besides, we evaluate the approach on a real use-case of automated video analysis for therapy support with autistic people. The promising results prove its suitability for this kind of application in the wild, providing both quantitative and qualitative measures, essential for the patient evaluation and monitoring.

연구 동기 및 목표

• 이질적인 운동 데이터에서 일회성 동작 인식의 과제를 해결하기 위해, 특히 의료 치료 영상 분석에 초점을 맞춘다.
• 목표 영상에서 한 번 또는 여러 번 반복되거나 반복이 없는 동작을 인식할 수 있는 강력한 방법을 개발한다.
• 특히 자폐 환자에게 적용되는 동작 모방 게임을 포함한 보조 치료를 위한 자동화된 영상 분석을 가능하게 한다.
• 임상 모니터링 및 환자 평가에 필수적인 정량적 및 정성적 평가 지표를 제공한다.

제안 방법

• 이질적인 운동 데이터를 표준화하기 위한 사전 처리 파이프라인이 제안되어 다양한 기록 조건 간의 변동성을 감소시킨다.
• 표준화된 데이터로부터 서술적이고 고수준의 운동 표현을 생성하기 위해 시간적 컨volution 네트워크(TCN)를 사용한다.
• 모델은 일회성 또는 소수의 예제를 기반으로 한 동작 인식을 위해 훈련되며, 최소한의 레이블 예제로도 새로운 동작을 인식할 수 있다.
• 시간적 모델링을 활용해 동작 시퀀스의 장거리 의존성을 포착함으로써 인식의 강건성을 향상시킨다.
• 공개된 NTU-120 일회성 동작 인식 벤치마크와 실생활 치료 응용 분야에서 프레임워크를 평가한다.
• 정량적 지표와 정성적 분석을 포함한 평가를 통해 임상적 사용 가능성을 뒷받침한다.

실험 결과

연구 질문

• RQ1 일회성 동작 인식 모델은 목표 동작이 없거나 한 번, 또는 여러 번 반복된 영상도 효과적으로 처리할 수 있는가?
• RQ2 운동 품질과 기록 조건이 다양할 경우, 제안된 방법은 실생활 치료 영상에 대해 얼마나 잘 일반화되는가?
• RQ3 운동 표준화와 TCN 기반의 표현 학습이 저샷 설정에서 인식 정확도를 얼마나 향상시키는가?
• RQ4 이 방법은 자폐증 치료에서 환자 모니터링에 대해 신뢰할 수 있고 임상적으로 의미 있는 평가 지표를 제공할 수 있는가?

주요 결과

• 제안된 방법은 공개된 NTU-120 일회성 동작 인식 벤치마크에서 최신 기술 수준 성능를 달성한다.
• 모델은 실생활 치료 영상에 대해 강력한 일반화 성능를 보이며, 임상적 구현에 적합함을 입증한다.
• 정량적 결과는 각 동작 클래스에 단 한 개의 예제만으로도 높은 인식 정확도를 확보함을 확인한다.
• 정성적 분석을 통해 환자 평가에 유용한 의미 있고 해석 가능한 운동 표현을 도출함을 확인한다.
• 모델는 목표 동작의 반복 수가 여러 번이거나 존재하지 않는 경우의 운동 데이터 변동성에도 효과적으로 대응한다.
• 운동 표준화와 TCN 기반의 특징 학습 통합이 강건성과 성능 향상에 크게 기여한다.