[논문 리뷰] Dynamics-Regulated Kinematic Policy for Egocentric Pose Estimation

Zhengyi Luo, Ryo Hachiuma외 2명|arXiv (Cornell University)|2021. 06. 10.

Human Pose and Action Recognition참고 문헌 48인용 수 38

한 줄 요약

이 연구는 단일 머리착용 카메라로부터 물리적으로 그럴듯한 3D 자가시점 자세를 추정하기 위해 운동학과 역학을 장면 맥락과 결합하고, dynamics-regulated training으로 운동 정책을 물리 시뮬레이터의 학습된 범용 휴머노이드 컨트롤러와 정렬합니다.

ABSTRACT

We propose a method for object-aware 3D egocentric pose estimation that tightly integrates kinematics modeling, dynamics modeling, and scene object information. Unlike prior kinematics or dynamics-based approaches where the two components are used disjointly, we synergize the two approaches via dynamics-regulated training. At each timestep, a kinematic model is used to provide a target pose using video evidence and simulation state. Then, a prelearned dynamics model attempts to mimic the kinematic pose in a physics simulator. By comparing the pose instructed by the kinematic model against the pose generated by the dynamics model, we can use their misalignment to further improve the kinematic model. By factoring in the 6DoF pose of objects (e.g., chairs, boxes) in the scene, we demonstrate for the first time, the ability to estimate physically-plausible 3D human-object interactions using a single wearable camera. We evaluate our egocentric pose estimation method in both controlled laboratory settings and real-world scenarios.

연구 동기 및 목표

• 단일 정면 카메라로부터 물리적으로 그럴듯한 3D 자가시점 전신 포즈와 물체 상호작용을 추정하는 과제를 동기화하고 해결한다.
• 대규모 MoCap 데이터로부터 학습된 일반-purpose 휴머노이드 물리 컨트롤러를 개발하여 다양한 인간 모션을 모방한다.
• 운동학, 역학 및 장면 맥 context를 촘촘히 통합하는 dynamics-regulated training 절차를 제안한다.
• 객체 맥락과 장면 제약이 절대적 3D 포즈 및 상호작용의 현실감을 어떻게 향상시키는지 입증한다.
• 제어된 MoCap 실험실 데이터와 실제 세계 시퀀스에서 평가하여 포즈 및 물리 기반 지표의 향상을 보여준다.

제안 방법

• 대규모 MoCap 데이터로부터 Universal Humanoid Controller (UHC)를 학습하여 물리 시뮬레이터에서 다양한 인간 모션을 모방한다.
• 비디오 증거와 장면 맥락에 따라 프레임당 목표 포즈를 출력하는 객체 인지형 운동학 정책을 개발한다.
• 감독 학습(운동학 타깃)과 강화 학습(시뮬레이션을 통한 물리적 타당성)을 결합하는 dynamics-regulated training을 도입한다.
• 초기 장면 맥 context, 객체 상태, 다음 프레임 관찰치를 융합하여 단계별 목표를 예측하는 자동회귀적 에이전트-중심의 운동학 정책을 사용한다.
• 지도 학습을 위한 포즈 기반 손실과 모션 모방 및 역학 일관성을 촉진하는 물리 기반 보상(UHC를 통해)을 통합한다.
• 테스트 시에는 물리 시뮬레이터 안에서 운동학 정책을 롤아웃하고 UHC가 로우-레벨 컨트롤러로 작동하여 물리적으로 그럴듯한 포즈를 생성한다.

실험 결과

연구 질문

• RQ1 운동학, 역학 및 장면 맥 context를 통합하여 단일 정면 카메라로 물리적으로 그럴듯한 3D 자가시점 포즈와 인간-물체 상호작용을 추정할 수 있는가?
• RQ2 학습된 작업 무관 Humanoid 컨트롤러가 객체 인지 운동학 정책에 의해 안내될 때 물리 시뮬레이터에서 광범위한 인간 모션을 견고하게 모방할 수 있는가?
• RQ3 Dynamics-regulated training이 순수한 운동학 방법이나 순수한 역학 기반 방법에 비해 실세계 도메인 시프트에 대한 강건성과 절대 포즈 추적을 향상시키는가?
• RQ4 6DoF 객체 포즈와 장면 맥 context를 포함하는 것이 자가시점 포즈 추정의 품질과 상호작용 현실성에 어떤 영향을 미치는가?

주요 결과

• 이 방법은 단일 헤드-마운트 카메라로 물리적으로 그럴듯한 3D 자가시점 포즈와 상호작용을 추정한다.
• MoCap에서 학습된 Universal Humanoid Controller는 물리 시뮬레이터 내부에서 광범위한 모션을 모방할 수 있다.
• Dynamics-regulated training은 운동학, 역학 및 장면 맥 context를 시너지를 내어 강건성과 포즈 정확도를 향상시킨다.
• MoCap 데이터셋과 실제 데이터에 대한 실험은 포즈 기반 및 물리 기반 지표에서 최첨단 방법에 비해 향상을 보여준다.
• 이 접근법은 현실적인 인간-물체 상호작용을 가능하게 하기 위해 장면에서 6DoF 객체 포즈를 명시적으로 모델링한다.