[논문 리뷰] Improved 2D Keypoint Detection in Out-of-Balance and Fall Situations -- combining input rotations and a kinematic model

Michael Zwölfer, D. Heinrich외 5명|arXiv (Cornell University)|2021. 12. 22.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 알파인 스키의 엎어짐 및 균형을 잃은 상황에서 2차원 관절점 검출 성능을 향상시키기 위해 기울인 입력 프레임과 운동학 모델을 조합하는 후처리 방법을 제안한다. 각 프레임을 36도 간격으로 36번 회전시켜 처리하고, 관절점 궤적을 추정하기 위해 알파-베타-감마 필터를 적용함으로써, 업어짐 상황에서 PCK@0.2가 최대 21% 향상되며, 부상 기구 분석을 위한 자세 추정 성능이 크게 향상된다.

ABSTRACT

Injury analysis may be one of the most beneficial applications of deep learning based human pose estimation. To facilitate further research on this topic, we provide an injury specific 2D dataset for alpine skiing, covering in total 533 images. We further propose a post processing routine, that combines rotational information with a simple kinematic model. We could improve detection results in fall situations by up to 21% regarding the PCK@0.2 metric.

연구 동기 및 목표

• 알파인 스키에서 흔히 발생하는 균형을 잃은 상태와 업어짐 상황에서 최신 기술의 관절점 검출 성능이 열 劣한 문제를 해결하기 위해.
• 희귀하고 극단적인 자세와 고도의 가림 상황에서 검출 정확도를 향상시키는 후처리 절차를 개발하기 위해.
• 알파인 스키 업어짐에서 533개의 프레임을 포함한 공개 가능한 부상 특화 2차원 관절점 데이터셋을 제작하고 배포하기 위해.
• 딥 러닝 기반 자세 추정을 활용해 ACL 부상 기구 분석을 더 정확하게 수행하기 위해.
• 수동 매칭에 의존하는 것을 줄이고, 어려운 동작 캡처 상황에서 강력하고 자동화된 자세 추정 방법을 제공하기 위해.

제안 방법

• 각 입력 프레임을 0°에서 360°까지 10° 간격으로 36개의 각도로 회전시켜 처리한다.
• 사전 학습된 관절점 검출기(예: DCPose 또는 AlphaPose)를 각 회전된 프레임에 적용하여 각 관절당 36개의 관절점 후보를 생성한다.
• 표준 회전 행렬을 사용하여 모든 예측된 관절점을 원본 프레임의 좌표계로 다시 회전시킨다.
• 각 관절점의 위치, 속도, 가속도를 기반으로 진짜 관절점 위치를 추정하기 위해 알파-베타-감마 필터를 적용한다.
• 36개의 회전된 후보 중에서 신뢰도가 가장 높은 관절점을 최종 관절점으로 선택하며, 운동학 필터링을 통해 누락된 검출을 보정하거나 복구한다.
• 이 방법은 '균형을 잃은 상태' 또는 '업어짐' 상태와 같은 저신뢰도 예측이 발생하는 프레임에만 선택적으로 적용되어 일반 스키어링 상황에서의 성능을 유지한다.

실험 결과

연구 질문

• RQ1 기울임 증강과 운동학 모델링을 조합하면 스키 업어짐에서 흔히 발생하는 극단적이고 수직이 아닌 자세에서 2차원 관절점 검출 성능을 향상시킬 수 있는가?
• RQ2 기본 모델 대비 제안된 후처리 절차가 업어짐 및 균형을 잃은 상황에서의 검출 성능에 어떤 영향을 미치는가?
• RQ3 기울인 입력과 운동학 필터링은 가림, 운동 흐림, 뒤집힌 신체 자세 등으로 인한 오류를 어느 정도 줄일 수 있는가?
• RQ4 이 방법은 일반 스키어링 상황에서는 높은 성능를 유지하면서도 어려운 프레임에서의 검출 성능을 크게 향상시킬 수 있는가?
• RQ5 이 방법을 통해 알파인 스키에서 ACL 부상 기구 분석을 더 신뢰성 있게 수행할 수 있는가?

주요 결과

• DCPose를 사용할 경우, 업어짐 상황에서 PCK@0.2가 최대 21% 향상되었으며, AP는 0.18 증가하였다.
• DCPose의 경우, 후처리 이후 업어짐 상황에서 PCK@0.2가 기준값 0.51에서 0.72로 상승하였다.
• AlphaPose는 일반 스키어링 성능가 약간 감소했음에도 불구하고, AP는 0.18 증가했고, 업어짐 프레임에서 PCK@0.2는 8% 향상되었다.
• 업어짐 프레임에서의 관절점 분포는 매우 다양했으며, 빈번한 검출 실패나 일치 실패를 나타내는 이중 첨두형 분포를 띠었다.
• 운동학 모델은 원래 방향에서 검출이 이루어지지 않은 경우에도 관절점을 성공적으로 복구했으며, 특히 뒤집힌 자세나 압축된 자세에서 두드러진 성능을 보였다.
• 이 방법은 어려운 부상 관련 상황에서 검출 성능을 크게 향상시키는 동안 일반 스키어링 상황에서도 높은 성능를 유지하였다.