[논문 리뷰] Movement science needs different pose tracking algorithms

Nidhi Seethapathi, Shaofei Wang외 3명|arXiv (Cornell University)|2019. 07. 24.

Human Pose and Action Recognition참고 문헌 88인용 수 66

한 줄 요약

본 논문은 현재의 자세 추적 방법이 movement-science에 중요한 움직임-과학 관련 양을 우선순위로 다루지 못한다고 주장하고, 3D 운동학, 힘, 그리고 움직임 과학을 위한 기타 변수들을 더 잘 추정하도록 알고리즘을 재설계하는 방법을 제시한다.

ABSTRACT

Over the last decade, computer science has made progress towards extracting body pose from single camera photographs or videos. This promises to enable movement science to detect disease, quantify movement performance, and take the science out of the lab into the real world. However, current pose tracking algorithms fall short of the needs of movement science; the types of movement data that matter are poorly estimated. For instance, the metrics currently used for evaluating pose tracking algorithms use noisy hand-labeled ground truth data and do not prioritize precision of relevant variables like three-dimensional position, velocity, acceleration, and forces which are crucial for movement science. Here, we introduce the scientific disciplines that use movement data, the types of data they need, and discuss the changes needed to make pose tracking truly transformative for movement science.

연구 동기 및 목표

• 움직임 과학 분야가 움직임 데이터에 얼마나 의존하는지와 현재의 자세 추적이 왜 미흡한지 설명한다.
• 3D 위치, 속도, 가속도, 힘, 절대 크기 등 움직임 과학이 자세 추적으로부터 필요로 하는 특정 양을 식별한다.
• 움직임 관련 출력물을 우선시하기 위해 구체적인 알고리즘적 및 벤치마킹 변화들을 제안한다.
• 움직임 과학 목표를 더 잘 지원할 수 있도록 데이터 및Ground-truth 고려사항을 강조한다.

제안 방법

• 다양한 움직임 과학 분야와 그들의 데이터 필요를 조사한다.
• 현 자세 추적 벤치마크와Ground-truth 관행을 비판적으로 분석하여 움직임 관련 지표의 부족을 지적한다.
• 해골 계층 구조, 시간적 구조, 카메라 움직임에 기초한 알고리즘 프라이어를 제안하여 3D 운동학을 개선한다.
• 속도, 가속도, 힘 추정을 목표 함수와 벤치마크에 통합할 것을 권고한다.
• 접촉 및 가림을 다루기 위한 데이터 증강과 합성 시나리오를 제안한다.
• 움직임 분석을 위한 절대 크기/질량 추정과 고정 프레임 참조를 달성하는 방법을 조언한다.

실험 결과

연구 질문

• RQ1 무엇이 움직임 과학에 우선순위를 두어야 할 움직임 관련 양(예: 3D 운동학, 힘)인가?
• RQ2 시간적 역학 및 골격 제약을 어떻게 통합하여 시간이 지남에 따라 정확도를 개선할 수 있는가?
• RQ3 편향을 피하고 다양한 움직임 작업을 지원하기 위해 필요한Ground-truth 데이터, 벤치마크, 교차 인구 고려사항은 무엇인가?
• RQ4 움직임 과학에서 기계적 분석을 가능하게 하기 위해 어떻게 절대 크기, 질량, 힘을 자세 추적에 제공할 수 있는가?
• RQ5 현장 데이터에서 접촉, 가림 및 카메라 모션에 대한 조정을 통해 움직임 과학에 사용할 수 있도록 만들려면 무엇이 필요한가?

주요 결과

• 현재 자세 추적은 2D 자세와 프레임 단위 정확도에 중점을 두고 있으며 움직임 과학에 중요한 속도, 가속도, 힘을 무시한다.
• Ground-truth 벤치마크는 종종 손으로 라벨링된 키포인트와 구성된 포즈에 의존하며 과학에 필요한 움직임 양을 반영하지 않는다.
• 시간 정보와 동역학적 구조가 충분히 활용되지 않아 프레임 간 오차가 속도/가속도 추정으로 전파된다.
• 외부 힘, 절대 질량, 크기 및 관성은 기존 방법으로 충분히 추정되지 않아 생체역학 분석이 제약된다.
• 카메라 모션을 고려하고 고정 기준 프레임에서 결과를 제공하는 것은 의미 있는 움직임 과학 애플리케이션에 필수적이다.
• 인구통계학적 및 작업 다양성이 부족한 학습 데이터는 인구 및 활동 간 자세 추정 편향을 유발할 수 있다.