[논문 리뷰] DiffusionPoser: Real-time Human Motion Reconstruction From Arbitrary Sparse Sensors Using Autoregressive Diffusion

Tom Van Wouwe, Seung‐Hwan Lee외 3명|arXiv (Cornell University)|2023. 08. 31.

Balance, Gait, and Falls Prevention인용 수 5

한 줄 요약

이 논문은 재학습이 필요 없이 임의의 희박한 IMU 구성에서 전체 신체 운동을 복원하는 실시간 단일 확산 생성 모델인 Diffusion Inertial Poser(DiffIP)를 제안한다. 자동회귀적 노이즈 제거와 생리학적으로 타당한 OpenSim 기반의 운동 표현을 활용하여, 여섯 개의 IMU 설정에서 최신 기술 수준의 정확도를 달성하고, 세 개의 IMU조차도 인간과 유사한 운동 품질을 유지한다. 이는 건강 및 성능 모니터링 분야에서 유연하고 응용에 맞는 센서 배치를 가능하게 한다.

ABSTRACT

Motion capture from a limited number of body-worn sensors, such as inertial measurement units (IMUs) and pressure insoles, has important applications in health, human performance, and entertainment. Recent work has focused on accurately reconstructing whole-body motion from a specific sensor configuration using six IMUs. While a common goal across applications is to use the minimal number of sensors to achieve required accuracy, the optimal arrangement of the sensors might differ from application to application. We propose a single diffusion model, DiffusionPoser, which reconstructs human motion in real-time from an arbitrary combination of sensors, including IMUs placed at specified locations, and, pressure insoles. Unlike existing methods, our model grants users the flexibility to determine the number and arrangement of sensors tailored to the specific activity of interest, without the need for retraining. A novel autoregressive inferencing scheme ensures real-time motion reconstruction that closely aligns with measured sensor signals. The generative nature of DiffusionPoser ensures realistic behavior, even for degrees-of-freedom not directly measured. Qualitative results can be found on our website: https://diffusionposer.github.io/.

연구 동기 및 목표

• 재학습이 필요 없이 임의의 희박한 IMU 구성에서 실시간으로 인간 운동을 복원하는 유연한 시스템을 개발하는 것.
• 센서 데이터가 희박하거나 노이즈가 많을 경우, 기록되지 않은 신체 부위를 보다 강건하고 정확하게 복원하는 것.
• 특정 응용 요구사항에 맞는 다양한 IMU 구성 지원을 통해 건강, 재활 및 성능 모니터링 분야에서 실용적인 구현을 가능하게 하는 것.
• 근골격계 모델(OpenSim)을 통합하여 근육 힘과 관절 운동학과 같은 생체역학적으로 의미 있는 출력을 생성하는 것.
• 마커 기반 운동 캡처에서 유도된 대규모, OpenSim 호환 데이터셋을 제작하고 공개하여 훈련 및 평가를 위한 기반을 마련하는 것.

제안 방법

• 전체 신체 운동 시퀀스를 글로벌 세그먼트 방향과 IMU에서 측정된 선형 가속도를 조건으로 하여 조건부 자동회귀적 확산 모델을 훈련한다.
• 모델은 노이즈 스케줄과 노이즈 제거 U-Net 아키텍처를 사용하여 이전 프레임과 IMU 측정치를 조건으로 하여 운동 예측을 반복적으로 개선한다.
• IMU 구성은 학습 가능한 마스크를 통해 인코딩되며, 이는 다양한 설정 간의 일반화를 가능하게 한다.
• 훈련 데이터는 AddBiomechanics를 사용하여 세 개의 기존 마커 기반 운동 캡처 데이터셋에서 유도된 것으로, OpenSim 호환 운동학 표현으로 매핑된다.
• 센서 통신, 필터링 및 추론을 포함한 총 지연 시간이 약 110ms 이내로 실시간 20Hz에서 운동을 복원한다.
• 다양한 구성에서 관절 각도 오차(MJOE), 위치 오차(MJPE), 루트 이동 오차(RTE)를 최소화하도록 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 재학습 없이도 임의의 IMU 구성에 일반화되며 높은 복원 정확도를 유지할 수 있는 단일 확산 모델이 가능한가?
• RQ2 센서 희박성 하에서 회귀 기반 기준 모델과 비교해 복원 정확도와 강건성 측면에서 성능이 어떻게 되는가?
• RQ3 다양한 운동 유형과 센서 수에서 관절 각도 오차와 전역 이동 오차를 최소화하는 최적의 IMU 구성은 무엇인가?
• RQ4 센서 데이터가 희박할 경우, 생성 모델이 기록되지 않은 사지에 대해 얼마나 현실적으로 운동을 생성할 수 있는가?
• RQ5 생체 피드백이나 가상현실과 같은 저지연 피드백이 필요한 응용 분야에서 시스템이 실시간으로 효과적으로 구현 가능한가?

주요 결과

• 표준 여섯 개의 IMU 구성에서 DiffIP는 최신 기술 수준의 성능을 달성하였으며, 평균 관절 방향 오차(MJOE)는 14.7°, 평균 관절 위치 오차(MJPE)는 7.5cm를 기록하였다.
• 네 개의 IMU 구성에서는 허벅지와 전腕에 센서를 부착할 경우 관절 오차가 가장 낮았으며(MJOE: 14.7°), 허벅지 대신 발에 센서를 부착하면 루트 드리프트(RTE10s)가 감소하여 0.34m로 줄어들었다(허벅지 사용 시 0.36m).
• 세 개의 IMU만으로도 DiffIP는 인간과 유사한 운동 품질을 유지하지만, 관절 오차는 22.8° MJOE로 증가하고 RTE10s는 1.0m에 도달하여 생성 모델의 강건성을 입증하였다.
• 조건부 트랜스포머 기준 모델(c-trans)과 비교해 DiffIP는 모든 구성에서 더 뛰어난 강건성과 낮은 오차를 보였으며, 평균적으로 MJOE가 25% 낮았다.
• 시스템은 20Hz에서 실행되며 총 지연 시간이 약 110ms 이내로, 피드백 기반 응용 분야에서 실시간 사용이 가능하다.
• 재학습 없이도 다양한 구성 간에 일반화가 가능하여, 실용적 제약과 응용 목표에 따라 최적의 IMU 구성 선택이 가능하다.