[논문 리뷰] Imitation Learning for Human Pose Prediction

Borui Wang, Ehsan Adeli외 3명|arXiv (Cornell University)|2019. 09. 08.

Human Pose and Action Recognition참고 문헌 50인용 수 5

한 줄 요약

이 논문은 강화학습 설정 내에서 행동 복제(behavioral cloning)와 생성적 적대적 복제 학습(GAIL)을 융합하여 인간 자세 예측을 위한 새로운 이mitation 학습 프레임워크를 제안한다. 이 방법은 Human 3.6M 데이터셋에서 최신 기준(SOTA) 성능을 달성하며, 단기 및 장기 자세 예측 모두에서 이전 모델들을 크게 능가하면서 기존 기준 모델 대비 최대 24배 빠른 학습 속도를 확보한다.

ABSTRACT

Modeling and prediction of human motion dynamics has long been a challenging problem in computer vision, and most existing methods rely on the end-to-end supervised training of various architectures of recurrent neural networks. Inspired by the recent success of deep reinforcement learning methods, in this paper we propose a new reinforcement learning formulation for the problem of human pose prediction, and develop an imitation learning algorithm for predicting future poses under this formulation through a combination of behavioral cloning and generative adversarial imitation learning. Our experiments show that our proposed method outperforms all existing state-of-the-art baseline models by large margins on the task of human pose prediction in both short-term predictions and long-term predictions, while also enjoying huge advantage in training speed.

연구 동기 및 목표

• 감독형 RNN 기반 방법의 한계, 즉 일반화 능력 부족과 단기 및 장기 정확도 간의 불균형을 해결하기 위해.
• 딥 강화학습의 장점—특히 일반화 능력과 순차적 일관성—을 활용하여 인간 운동 동역학을 모델링하기 위해.
• 환경 보상 신호 없이 전문가의 시범(실제 인간 운동 시퀀스)에서 학습하는 이mitation 학습 프레임워크를 개발하기 위해.
• 행동 복제와 GAIL을 융합한 하이브리드 접근법을 통해 샘플 효율성과 정책 일반화 능력을 향상시키기 위해.
• 기존 최신 기준 모델 대비 예측 정확도를 유지하거나 향상시키면서도 더 빠른 학습 속도를 달성하기 위해.

제안 방법

• 실제 인간 운동 시퀀스에서의 전문가 시범을 사용하여 환경 보상이 없는 강화학습 문제로 자세 예측을 공식화한다.
• 전문가 트랙잭리와 생성된 트랙잭리를 구분하기 위해 비평가 네트워크 $D_w$와 정책 생성기 $\pi_\theta$를 사용하는 생성적 적대적 복제 학습(GAIL)을 적용한다.
• 자세 시퀀스의 장기적 의존성을 모델링하고 가변 길이의 이전 관측값을 처리하기 위해 시퀀스-투-시퀀스 아키텍처를 통합한다.
• 샘플 효율성과 수렴 속도 향상을 위해 정책 네트워크 초기화를 위해 행동 복제를 사전 학습 단계로 활용한다.
• 인간 자세 출력의 연속적이고 고차원적인 행동 공간을 고려하여 딥 디터민리스틱 정책 그래เดียน트(DDPG)를 정책 최적화에 적용한다.
• 학습 안정성과 장기 예측 성능 향상을 위해 창문 기반 예측 전략(예: 2 프레임 단위로 예측)을 구현한다.

실험 결과

연구 질문

• RQ1 강화학습 기반의 이mitation 학습 프레임워크는 감독형 RNN 대비 단기 및 장기 정확도를 향상시킬 수 있는가?
• RQ2 행동 복제와 GAIL을 융합함으로써 자세 예측에서 샘플 효율성과 수렴 속도에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 학습 데이터에 포함되지 않은 새로운 인간 운동 영역으로의 일반화 능력이 어느 정도인가?
• RQ4 기존 최신 기준 모델 대비 더 빠른 학습 속도를 확보하면서도 뛰어난 성능을 유지하거나 향상시킬 수 있는가?
• RQ5 이 프레임워크는 향후 운동 예측에서 환경, 물체, 의도와 같은 복잡한 요소를 모델링하는 데 확장 가능한가?

주요 결과

• 제안된 BC+WGAIL-div 방법은 Human 3.6M 데이터셋에서 새로운 최신 기준(SOTA) 성능을 달성하며, 단기(예: 80ms) 및 장기(예: 1000ms) 자세 예측 모두에서 이전 모든 모델을 능가한다.
• 1000ms 예측에서 평균 각도 오차는 1.32°를 기록하여, 다음으로 우수한 기준 모델(행동 복제만 사용 시 1.36°, WGAIL-div만 사용 시 1.33°)보다 유의미하게 낮다.
• 장기 예측에서 최고 기준 모델(Residual) 대비 평균 각도 오차를 최대 19%까지 감소시켰으며, 특히 복잡한 활동에서의 개선 효과가 두드러진다.
• 4개의 NVIDIA Titan GPU를 사용하여 학습 시간을 20분 이내로 단축시켰으며, 이는 Residual 및 TP-RNN와 같은 기준 모델(8시간 이상 소요) 대비 24배 빠른 속도 향상이다.
• 제거 실험 결과, 행동 복제와 WGAIL-div 모두 필수적임을 확인: 둘 중 하나를 제거하면 성능이 저하되어 상호 보완적 역할임을 입증한다.
• 시각화 결과, 예측된 자세가 기준 예측보다 더 자연스럽고, 특히 장기 시퀀스에서 진짜 라벨에 더 가까이 일치함을 확인할 수 있었다.