[논문 리뷰] Kinematics-Guided Reinforcement Learning for Object-Aware 3D Ego-Pose Estimation

Zhengyi Luo, Ryo Hachiuma외 3명|arXiv (Cornell University)|2020. 11. 10.

Human Pose and Action Recognition참고 문헌 25인용 수 4

한 줄 요약

이 논문은 1인칭 비디오에서 3D 자기자신 자세 추정을 위한 운동학적 지도의 강화학습 프레임워크를 제안한다. 운동학적 자세 추정기와 물리 기반의 역학 모델을 잔차 동작 공간에 통합하여 물리적으로 타당한 인간-물체 상호작용을 생성한다. 이 방법은 기준선 대비 루트 및 관절 위치 추정 오차가 31–48% 낮아서 최신 기술 수준의 성능을 달성하며, 특히 드리프트 보정과 실외 환경으로의 일반화에서 뛰어난 성능을 보인다.

ABSTRACT

We propose a method for incorporating object interaction and human body dynamics into the task of 3D ego-pose estimation using a head-mounted camera. We use a kinematics model of the human body to represent the entire range of human motion, and a dynamics model of the body to interact with objects inside a physics simulator. By bringing together object modeling, kinematics modeling, and dynamics modeling in a reinforcement learning (RL) framework, we enable object-aware 3D ego-pose estimation. We devise several representational innovations through the design of the state and action space to incorporate 3D scene context and improve pose estimation quality. We also construct a fine-tuning step to correct the drift and refine the estimated human-object interaction. This is the first work to estimate a physically valid 3D full-body interaction sequence with objects (e.g., chairs, boxes, obstacles) from egocentric videos. Experiments with both controlled and in-the-wild settings show that our method can successfully extract an object-conditioned 3D ego-pose sequence that is consistent with the laws of physics.

연구 동기 및 목표

• 몸이 자주 가림을 입는 단일 제1인칭 카메라 시점에서 3D 전체 신체 운동과 인간-물체 상호작용을 추정하는 과제를 해결한다.
• 순수 운동학적 또는 역학 기반 접근의 한계를 극복하기 위해 정확한 운동학적 자세 추정과 물리적으로 일관된 역학 보정을 융합한다.
• 특히 물체 자세를 포함한 3D 환경 맥락을 강화학습 상태 표현에 통합하여 상호작용 예측 성능을 향상시킨다.
• 실제 1인칭 영상에서 단일 카메라 시각-관성 추적(VIO)을 기반으로 정렬된 미세조정 단계를 통해 장기적인 상호작용에서의 시뮬레이션 드리프트를 보정한다.
• 지상 진짜 3D 자세가 제공되지 않는 실제 환경, 즉 실외 환경에서도 일반화 성능을 입증한다.

제안 방법

• 사전 학습된 운동학적 자세 추정기를 사용하여 강력한 初기 자세 추정치를 제공하고, 이를 강화학습 정책이 절대 관절 목표가 아닌 잔차 관절 각도를 예측하는 기준으로 활용한다.
• 강화학습 정책에서 운동학 모델 출력값에 대한 잔차 조정을 출력하는 새로운 동작 공간을 설계하여, 더 안정적이고 정확한 정책 학습을 가능하게 한다.
• 6-자유도 물체 자세를 강화학습 에이전트의 상태 입력으로 통합하여 정책가 물체 인식 능력과 상황적 맥락 인식 능력을 갖춘다.
• 인간형 로봇의 운동이 관절 토크로 제어되는 시뮬레이터에서 물리 기반의 역학 모델을 학습시켜 물리적으로 타당한 상호작용(예: 밀기, 앉기)을 보장한다.
• 실제 1인칭 영상에서의 시각-관성 추적(VIO)을 기반으로 카메라 운동을 도출하여 시뮬레이션의 전역 루트 궤적 드리프트를 보정하는 미세조정 단계를 적용한다.
• 미세조정 단계 동안 머리 위치/자세/속도, 운동학 정규화, 동작 부드러움을 포함한 다단계 보상 함수를 설계하여 학습 안정성과 현실성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 순수 운동학적 또는 역학 기반 방법과 비교해 볼 때, 운동학적 지도의 강화학습 프레임워크는 1인칭 영상에서 3D 자기자신 자세 추정의 정확도와 물리적 타당성에 어떤 영향을 미치는가?
• RQ2 강화학습 상태 공간에 3D 물체 자세 정보를 통합할 경우 인간-물체 상호작용 추정의 품질과 현실성은 어떻게 향상되는가?
• RQ3 실제 1인칭 영상에서 VIO 데이터를 활용한 미세조정 단계가 시뮬레이션 드리프트를 어느 정도 완화하고 실외 환경으로의 일반화를 향상시키는가?
• RQ4 머리 추적, 정규화 등 다양한 보상 구성 요소가 최종 자세 추정 성능과 운동의 부드러움에 미치는 영향은 어떠한가?
• RQ5 제안된 방법은 지상 진짜 3D 자세가 제공되지 않는 실외 환경에서 상당한 도메인 이동이 발생하는 상황에서도 일반화 가능한가?

주요 결과

• 제안된 잔차 동작 표현 방식이 기준선 방법 대비 루트 평균 제곱 오차(RMSE)를 31% 감소시켰다.
• 절단 실험 결과, 머리, 운동학, 동작 정규화를 포함한 완전한 보상 설계를 적용한 미세조정 단계에서 가장 낮은 오차를 기록했다: 루트 위치 0.322 RMSE, 관절 위치 0.788, 속도 5.063.
• 실외 평가에서 이 방법은 기준선을 크게 앞서며, 특히 드리프트가 발생하는 동작(예: 밀기, 장애물 피하기)에서 다음으로 우수한 방법 대비 34%의 루트 오차 감소를 기록했다.
• 미세조정된 정책은 전역 궤적 드리프트를 성공적으로 보정하여 의자에 앉기나 상자를 밀기와 같은 복잡한 상호작용을 신뢰성 있게 시뮬레이션할 수 있었다.
• 가속도 및 속도 지표로 측정한 결과, 이 방법은 기준선 방법 대비 2.0배 더 매끄러운 자세 시퀀스를 생성했다.
• 강력한 성능에도 불구하고, 실외 데이터에서 초기 자세 회귀기 출력이 열악한 경우 실패 케이스가 발생했으며, 이로 인해 비자연스러운 운동이 발생했고, 이는 미세조정 단계가 이를 보완하기 어려웠다.