[논문 리뷰] Ego-Pose Estimation and Forecasting as Real-Time PD Control

Ye Yuan, Kris Kitani|arXiv (Cornell University)|2019. 06. 07.

Human Pose and Action Recognition참고 문헌 68인용 수 10

한 줄 요약

이 논문은 비분할 egocentric 영상과 동작 캡처 데이터를 사용하여 3D 자기자신 자세 추정 및 예측을 물리 시뮬레이터 내 실시간 비례-미분(PD) 제어로 공식화하는 강화학습 기반 방법을 제안한다. 이는 자세 추정 및 장기 예측 모두에서 최신 기준 성능을 달성하며, 실시간 구현을 위한 30 FPS로 실행된다.

ABSTRACT

We propose the use of a proportional-derivative (PD) control based policy learned via reinforcement learning (RL) to estimate and forecast 3D human pose from egocentric videos. The method learns directly from unsegmented egocentric videos and motion capture data consisting of various complex human motions (e.g., crouching, hopping, bending, and motion transitions). We propose a video-conditioned recurrent control technique to forecast physically-valid and stable future motions of arbitrary length. We also introduce a value function based fail-safe mechanism which enables our method to run as a single pass algorithm over the video data. Experiments with both controlled and in-the-wild data show that our approach outperforms previous art in both quantitative metrics and visual quality of the motions, and is also robust enough to transfer directly to real-world scenarios. Additionally, our time analysis shows that the combined use of our pose estimation and forecasting can run at 30 FPS, making it suitable for real-time applications.

연구 동기 및 목표

• 비분할 egocentric 영상에서 복잡하고 다중 모달인 인간 운동을 추정하고 예측하는 데 도전한다.
• 분할된 운동 클립에 의존하지 않고 물리적으로 타당하고 안정적인 미래 운동을 생성하는 방법을 개발한다.
• 단일 통과 및 스트리밍 호환 아키텍처를 사용하여 자세 추정 및 예측 모두에 실시간 추론을 가능하게 한다.
• 추론 중 도메인 이동과 물리 시뮬레이터 내 추락으로 인한 제어 기반 방법의 불안정성을 해결한다.
• 비분할이며 다중 모달인 인간 운동 데이터에 특화된 새로운 보상 함수와 가치 기반 실패 방지 메커니즘을 설계한다.

제안 방법

• 자기자신 자세 추정 및 예측을 인간형 에이전트가 강화학습 정책으로 제어되는 마코프 결정 과정(MDP)으로 공식화한다.
• PD 제어기의 목표 관절 위치를 행동 공간으로 사용하여 물리 시뮬레이터 내에서 안정적이고 동적인 운동 작동을 가능하게 한다.
• 비디오 조건부 순환 정책을 사용하며, 자세 추정에는 이방향 LSTM, 예측에는 단방향 LSTM을 사용하여 시각적 맥락으로부터 운동 단계를 인코딩한다.
• 비분할이며 다중 모달 운동 데이터에 특화된 새로운 보상 함수를 도입하며, 근접한 미래 예측 정확도를 우선시하기 위해 감쇠 성분을 포함한다.
• 가치 함수 기반 실패 방지 메커니즘을 구현하여 추론 중 인간형 에이전트의 추락을 예측하고 방지함으로써 안정적인 단일 통과 작동을 가능하게 한다.
• 광학 흐름과 egocentric 영상에서 추출한 CNN 특징을 시각 입력으로 사용하며, 표준 하드웨어에서 30 FPS로 추론가능하다.

실험 결과

연구 질문

• RQ1 비분할 egocentric 영상에서 강화학습을 통해 학습된 PD 제어 기반 정책이 3D 인간 자세를 정확하게 추정하고 예측할 수 있는가?
• RQ2 오차 누적 또는 운동학적 드리프트 없이 물리적으로 타당하고 안정적인 장기 예측 운동을 어떻게 생성할 수 있는가?
• RQ3 가치 함수 추정 기반 실패 방지 메커니즘이 테스트 시 미세조정 없이 실시간 추론 중 시뮬레이터 내 추락을 방지할 수 있는가?
• RQ4 이 방법은 제어된 환경과 실외 환경 모두에서 다양한 복잡한 인간 운동(예: 웅크리기, 점프, 전이 동작 등)에 대해 어떻게 성능을 발휘하는가?
• RQ5 이 방법은 재학습 없이도 다양한 주체 간에 일반화되고 실제 세계 시나리오로 직접 전이 가능한가?

주요 결과

• 제안된 방법은 자세 추정 및 예측 모두에서 최신 기준 성능을 달성하며, 자세 오차, 속도 오차, 리셋 수와 같은 정량적 지표에서 기존 방법을 능가한다.
• 교차 주체 평가에서 1000개의 테스트 시퀀스 동안 오직 4회의 리셋만을 기록하여, 예측 불가능한 주체에 대한 강력한 일반화 능력을 입증한다.
• 자기자신 자세 예측에서 1초 예측 수준에서 자세 오차가 1.179, 3초 수준에서 1.339를 기록하며, ERD 및 acLSTM와 같은 기준 방법을 크게 능가한다.
• 일반적인 CPU와 GTX 1080Ti에서 30 FPS로 실행되며, 이중 방향 자세 추정에 대해 단지 1/3초의 지연만을 가지며 실시간 추론이 가능하다.
• 정성적 결과에서는 추정 및 예측된 운동이 시각적으로 정확하고 참값과 동기화되어 있으며, 웅크리기에서 걷기로의 자연스러운 전이 등 직관적인 전이도 잘 구현하고 있다.
• 제거 실험 결과, 제안된 보상 함수와 실패 방지 메커니즘이 성능에 핵심적임을 확인하였으며, 이를 제거할 경우 불안정한 정책과 높은 가속도/진동이 발생한다.