[논문 리뷰] SFV: Reinforcement Learning of Physical Skills from Videos

Xue Bin Peng, Angjoo Kanazawa외 3명|arXiv (Cornell University)|2018. 10. 08.

Human Motion and Animation인용 수 40

한 줄 요약

SFV는 모노큘러 비디오에서 포즈 추정, 모션 재구성, 강화 학습을 결합하여 시뮬레이션 캐릭터가 동적이고 물리적으로 타당한 기술을 직접 학습하도록 하며, 서로 다른 형태 및 환경에 리타게팅합니다.

ABSTRACT

Data-driven character animation based on motion capture can produce highly naturalistic behaviors and, when combined with physics simulation, can provide for natural procedural responses to physical perturbations, environmental changes, and morphological discrepancies. Motion capture remains the most popular source of motion data, but collecting mocap data typically requires heavily instrumented environments and actors. In this paper, we propose a method that enables physically simulated characters to learn skills from videos (SFV). Our approach, based on deep pose estimation and deep reinforcement learning, allows data-driven animation to leverage the abundance of publicly available video clips from the web, such as those from YouTube. This has the potential to enable fast and easy design of character controllers simply by querying for video recordings of the desired behavior. The resulting controllers are robust to perturbations, can be adapted to new settings, can perform basic object interactions, and can be retargeted to new morphologies via reinforcement learning. We further demonstrate that our method can predict potential human motions from still images, by forward simulation of learned controllers initialized from the observed pose. Our framework is able to learn a broad range of dynamic skills, including locomotion, acrobatics, and martial arts.

연구 동기 및 목표

• 비용이 많이 드는 모션 캡처 데이터보다 풍부한 비디오 데이터를 활용한 데이터 기반 캐릭터 애니메이션을 촉진한다.
• 비디오 시연을 시뮬레이션 캐릭터의 물리적으로 타당한 참조 모션으로 변환하는 파이프라인을 개발한다.
• 물리 기반 환경에서 이 참조 모션을 모방하기 위한 견고한 정책 학습을 강화 학습을 통해 가능하게 한다.
• 길고 horizon imitation? 긴-호라이즌 모방을 개선하기 위해 적응형 상태 초기화(ASI)를 도입한다.
• 다른 형태로의 리타게팅 및 정지 이미지에서의 모션 완성 가능성을 시연한다.

제안 방법

• 2D/3D 포즈 추정(OpenPose 및 HMR)을 적응형 모션 재구성 단계와 통합하여 잠재 공간 궤적을 최적화해 일관된 3D 참조 모션을 생성한다.
• 잠재 공간 zt에서 가중합된 2D 재투영, 3D 일관성, 시간적 매끄러움 손실의 합을 최소화하도록 최적화하여 참조 모션을 재구성한다.
• 물리 기반 시뮬레이터에서 재구성된 참조 모션을 모방하도록 강화 학습(PPO 변형)을 통해 정책 π(a|s)을 학습한다.
• 길고 horizon imitation에서의 탐색과 커리큘럼을 개선하기 위해 두 번째 에이전트가 초기 상태를 제시하도록 하는 적응형 상태 초기화(ASI)를 도입한다.
• 자세, 속도, 엔드 이펙터, 그리고 center-of-mose 보상을 포함한 복합 보상을 사용하여 시뮬레이션 모션을 참조와 정렬하고 안정성을 유지한다.
• 정지 이미지에 대해 가장 일치하는 참조 모션을 선택하고 해당 정책으로 시뮬레이션을 앞으로 진행하여 모션 완성을 시연한다.

실험 결과

연구 질문

• RQ1 모노큘러 비디오가 물리적으로 시뮬레이션된 캐릭터를 위한 다양한 동적 기술을 학습할 만큼 충분한 모션 데이터를 제공할 수 있는가?
• RQ2 포즈 추정 오류와 비물리적 인공물을 어떻게 완화하여 물리 엔진에서의 안정적인 모방을 가능하게 할 수 있는가?
• RQ3 저해상도 비디오 파생 참조 모션을 모방할 때 적응형 상태 초기화가 학습 효율성과 품질을 향상시키는가?
• RQ4 학습된 컨트롤러를 서로 다른 형태와 환경에 어느 정도까지 리타게팅하면서도 기술의 신뢰도를 유지할 수 있는가?
• RQ5 학습된 컨트롤러 라이브러리가 단일 정지 이미지로부터 모션 완성을 가능하게 할 수 있는가?

주요 결과

• 이 프레임워크는 비디오로부터 보행, 곡예, 무술 등을 포함한 동적 기술의 폭넓은 레퍼토리를 재현할 수 있다.
• 잠재 포즈 공간에서의 모션 재구성은 직접 프레임 단위 포즈 시퀀스와 비교하여 참조 품질과 모방 성능을 향상시킨다.
• ASI는 초기 상태 분포를 적응시켜 긴 시간의 모방을 개선하고 도전적인 기동에 대한 더 나은 커리큘럼을 가능하게 한다.
• SFV를 통해 학습된 정책은 섭동에 견고하며 서로 다른 형태와 환경으로 리타게팅될 수 있다.
• 이 접근법은 단일 정지 이미지로부터 미래 모션을 예측하는 새로운 물리 기반 모션 완성 응용을 가능하게 한다.
• 시스템은 비디오 파생 참조를 시뮬레이션에서 고충실도이자 물리적으로 타당한 모션으로 성공적으로 전달하는 것을 보여준다.