[논문 리뷰] Classifying action correctness in physical rehabilitation exercises

Alina Miron, Crina Groşan|arXiv (Cornell University)|2021. 08. 03.

Human Pose and Action Recognition참고 문헌 9인용 수 5

한 줄 요약

이 논문은 3D 스켈레톤 데이터에서 신체 재활 운동의 정확성을 분류하기 위해 시간적 컨volution 네트워크(Res-TCN)를 사용하는 기계학습 접근법을 제안한다. UI-PRMD 데이터셋을 사용하여 관절 각도 기반으로 운동을 분류할 때 평균 정확도 71.2%를 달성하였으며, 심도 있는 스쿼트와 같이 대칭적인 운동의 경우 더 높은 성능(83.5%)을 보였지만, 비대칭 또는 변동성이 큰 운동의 경우 정확도가 낮았다(62–63%).

ABSTRACT

The work in this paper focuses on the role of machine learning in assessing the correctness of a human motion or action. This task proves to be more challenging than the gesture and action recognition ones. We will demonstrate, through a set of experiments on a recent dataset, that machine learning algorithms can produce good results for certain actions, but can also fall into the trap of classifying an incorrect execution of an action as a correct execution of another action.

연구 동기 및 목표

• 기계학습 기반으로 신체 재활 운동의 정확성을 효과적으로 분류할 수 있는지 조사하기 위해.
• 원시 3D 관절 위치와 상대 관절 각도 등 다양한 입력 표현 방식이 운동 정확도 분류 성능에 미치는 영향을 비교하기 위해.
• 특히 높은 운동 변동성 또는 비대칭성으로 인한 경우에 대해 모델의 일반화 능력을 평가하기 위해.
• 비대칭적이거나 개인 맞춤형 운동 패턴에 대해 현재 모델의 한계를 규명하기 위해.
• 운동 품질 평가를 위한 단일 일반 모델과 동작별 특화 분류기 중 어느 것이 더 타당한지 탐색하기 위해.

제안 방법

• UI-PRMD 데이터셋의 3D 스켈레톤 시퀀스를 기반으로 이중 분류를 위한 잔차 시간 컨volution 네트워크(Res-TCN)를 학습시켰다.
• 원시 3D 관절 위치(프레임당 66차원)와 스켈레톤 데이터에서 계산된 상대 관절 각도의 두 가지 입력 모odal을 사용하였다.
• 개인별 학습/검증/테스트 분할을 적용한 10겹 교차검증 프로토콜을 통해 개인 간 일반화 능력을 평가하였다.
• 최종 분류를 위해 글로벌 평균 풀링과 소프트맥스 레이어를 사용하였으며, 잔차 블록 내에서는 배치 정규화와 ReLU 활성화 함수를 적용하였다.
• 과적합 방지를 위해 검증 정확도를 최적화 기준으로 삼고, 최고 성능을 보인 모델을 테스트에 활용하였다.
• 모든 동작에 대해 학습한 단일 일반 모델과 각 동작 유형별로 전용 모델을 학습한 결과를 비교하였다.

실험 결과

연구 질문

• RQ1 3D 스켈레톤 데이터를 기반으로 딥러닝 모델이 정확하게 수행된 신체 재활 운동과 잘못된 운동을 구분할 수 있는가?
• RQ2 원시 3D 관절 위치 대비 상대 관절 각도를 입력으로 사용할 경우 분류 정확도가 향상되는가?
• RQ3 운동의 대칭성과 운동 변동성에 따라 모델 성능은 어떻게 달라지는가?
• RQ4 일반 모델이 다양한 개인과 운동 패턴에 대해 얼마나 잘 일반화되는가? 동작별 특화 모델과 비교해 볼 때 어떤가?
• RQ5 특히 측면 런지나 어깨 회전 운동과 같이 성능 저하가 발생하는 주요 원인은 무엇인가?

주요 결과

• 상대 관절 각도를 입력으로 사용할 경우 평균 분류 정확도가 원시 3D 관절 위치 사용 시 62.3% 대비 71.2%로 향상되었다.
• 대칭적인 운동에서 가장 높은 정확도를 기록하였으며, 관절 각도 기반으로 심도 스쿼트는 83.5%, 좌절에서 일어나기 운동은 82%의 정확도를 달성하였다.
• 가장 도전적인 동작은 어깨 확장 운동(62%)과 내외전 회전 운동(63%)이었으며, 이는 높은 변동성 또는 개인 맞춤형 수행 방식으로 인한 것으로 나타났다.
• 개별 개인의 경우 분류기 성능에 큰 차이가 있었는데, 일부는 100% 정확도를 기록한 반면, 일부는 50%에 그쳐 특정 개인에 대해 일반화 능력이 떨어지는 것으로 나타났다.
• 모든 동작에 대해 학습한 일반 모델은 관절 각도 기반으로 63.3%의 정확도를 기록하였으며, 전용 모델 평균 정확도 71.2%에 비해 유의미하게 낮아, 작업별 적응의 이점이 뚜렷하게 드러났다.
• 연구에서는 오른쪽/왼쪽 근육 사용의 비대칭성(예: 오른쪽 또는 왼쪽 사지 사용)이 개인 간 성능 불일치의 주요 원인임을 규명하였다.