[논문 리뷰] A Comprehensive Review of Skeleton-based Movement Assessment Methods

Tal Hakim|arXiv (Cornell University)|2020. 01. 01.

Human Pose and Action Recognition참고 문헌 38인용 수 2

한 줄 요약

이 논문은 뼈대 기반 운동 평가 방법에 대한 종합적인 리뷰를 제시하며, 이를 주로 반복 운동(예: 보행)에서의 비정상성 탐지와 구조화된 운동(예: Fugl-Meyer 또는 Berg 균형 척도)의 품질 평가로 두 가지 주요 유형으로 분류한다. 주요 구성 요소인 뼈대 검출, 기하학적 정규화, 시간 정렬, 특징 추출, 점수 예측 및 피드백 생성을 분석하며, 대부분의 방법이 수작업 특징과 유사도 기반 평가에 의존하고 있으며, 피드백 생성은 제한적이고 표준화된 데이터셋과 평가 지표가 부족하다는 점을 강조한다.

ABSTRACT

The raising availability of 3D cameras and dramatic improvement of computer vision algorithms in the recent decade, accelerated the research of automatic movement assessment solutions. Such solutions can be implemented at home, using affordable equipment and dedicated software. In this paper, we divide the movement assessment task into secondary tasks and explain why they are needed and how they can be addressed. We review the recent solutions for automatic movement assessment from skeleton videos, comparing them by their objectives, features, movement domains and algorithmic approaches. In addition, we discuss the status of the research on this topic in a high level.

연구 동기 및 목표

• 뼈대 기반 운동 평가 기존 접근법을 두 가지 주요 작업으로 분류하고 분석하는 것: 반복 운동에서의 비정상성 탐지와 구조화된 운동의 품질 평가.
• 운동 평가 파이프라인의 핵심 하위 작업들(예: 뼈대 검출, 기하학적 정규화, 시간 정렬, 특징 추출, 점수 예측, 피드백 생성)을 특정하고 설명하는 것.
• 기존 연구의 현재 상태를 평가하기 위해 기존 연구의 특징, 목표, 알고리즘 접근법을 검토하며, 공개 데이터셋 대비 비공개 데이터셋 및 평가 지표 사용에 중점을 두는 것.
• 데이터셋과 평가 지표의 표준화 부족이 분야 내 비교 가능성과 발전을 저해한다는 점을 부각하는 것.
• 피드백 생성 부족과 수작업 특징 의존성 등의 연구 격차를 식별하고, 향후 방향성으로 공개 벤치마크 데이터셋과 다양한 운동 유형 간의 일반화 능력 향상을 제안하는 것.

제안 방법

• 운동 평가를 두 가지 주요 범주로 분류: (1) 반복 운동(예: 보행)에서의 비정상성 탐지, (2) 구조화된 운동(예: FMA, BBS)의 품질 평가.
• 기본 목표, 특징(예: 수치 점수, 품질 분류, 피드백), 훈련 데이터 사용 방식(예: 정상 운동만)을 기반으로 기존 연구를 검토하고 비교.
• 평가 파이프라인의 기술적 구성 요소 분석: Kinect 또는 OpenPose를 통한 3D 뼈대 검출, 자세 및 스케일 변동을 보완하기 위한 기하학적 정규화, 그리고 DTW, HMM, RNN 등을 활용한 시간 정렬.
• 특징 공학 전략 평가: 수작업 특징(예: 관절 각도, 궤적)과 딥 러닝 기반 특징 학습 간의 차이를 분석하며, 대부분의 연구에서 수작업 특징의 우세함을 지적.
• 점수 예측 기법 분석: 회귀보다는 정규화된 유사도 측정 기반 접근이 강조되며, 피드백 생성 방법으로는 파rameter 이탈 분석을 통한 텍스트 기반 피드백을 포함.
• 피드백 생성 전략을 특정 연구에 대응시켜 매핑: 시간적 이질성에 기반한 자연어 피드백 생성 또는 각도 차이 분석을 통한 약점 식별.

실험 결과

연구 질문

• RQ1 뼈대 기반 운동 평가의 주요 범주들은 무엇이며, 그 목표와 과제는 어떻게 다를까?
• RQ2 뼈대 검출, 시간 정렬, 특징 추출 등의 기술적 구성 요소 중 어떤 것이 가장 흔히 사용되며, 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 기존 방법들이 수작업 특징에 얼마나 의존하고 있는가, 그리고 다양한 운동 유형 간의 적응 가능성에 어떤 영향을 미치는가?
• RQ4 왜 현재 시스템에서는 피드백 생성이 드물게 이루어지는가, 그리고 피드백이 구현될 경우 어떤 방법이 사용되는가?
• RQ5 표준화되지 않은 데이터셋과 평가 지표 부족이 이 분야의 연구 비교 가능성과 발전에 어떤 영향을 미치는가?

주요 결과

• 대부분의 운동 평가 시스템은 반복 운동(예: 보행)에서의 비정상성 탐지 또는 구조화된 운동(예: FMA, BBS)의 품질 평가에 집중하며, 다수의 운동 유형으로 일반화를 尝시도하는 연구는 소수에 불과하다.
• 피드백 생성을 尝하는 연구는 소수에 불과하며, 그마저도 주로 파라미터 이탈 분석이나 궤적 이질성 분석에 기반한 피드백이지만, 종단 간 학습 정책에 기반한 피드백은 거의 없다.
• 대부분의 방법이 수작업 특징—예: 관절 각도, 궤적, 기하학적 불변량—을 사용하며, 딥 네트워크를 통한 특징 학습보다는 이들 특징의 우세함을 보인다.
• 시간 정렬은 핵심 과제로, 약 절반의 연구에서 시퀀스 모델(예: RNN, HMM)을 사용하지만, 나머진 Dynamic Time Warping(DTW) 또는 새로운 워핑 기법을 활용한다.
• DGD, SPHERE, UI-PRMD와 같은 공개 데이터셋이 존재하지만, 대부분의 연구는 비공개이자 작업에 특화된 데이터셋을 사용하여 재현 가능성과 벤치마크 평가를 제한한다.
• 점수 예측은 주로 종단 간 회귀보다는 정규화된 유사도 측정 기반이며, 비임상 분야에서는 연속적 점수 평가가 더 흔한 반면, 임상 평가에서는 이산적 분류가 지배적이다.