[논문 리뷰] Learning to Sit: Synthesizing Human-Chair Interactions via Hierarchical Control

Yu-Wei Chao, Jimei Yang외 2명|arXiv (Cornell University)|2019. 08. 20.

Human Motion and Animation참고 문헌 41인용 수 8

한 줄 요약

이 논문은 움직임 캡처 데이터에서 학습한 재사용 가능한 하위작업들(예: 걷기, 좌회전, 우회전, 앉기)으로 작업을 분해함으로써 현실적인 인간-의자 앉는 동작을 합성하기 위한 계층적 강화학습 프레임워크를 제안한다. 메타 컨트롤러는 다양한 초기 설정에 걸쳐 일반화할 수 있도록 이러한 하위작업들을 조율하며, 복잡한 시나리오에서 31.61%의 성공률을 기록하여 비계층적 및 고정 순서 기반 베이스라인을 능가한다.

ABSTRACT

Recent progress on physics-based character animation has shown impressive breakthroughs on human motion synthesis, through imitating motion capture data via deep reinforcement learning. However, results have mostly been demonstrated on imitating a single distinct motion pattern, and do not generalize to interactive tasks that require flexible motion patterns due to varying human-object spatial configurations. To bridge this gap, we focus on one class of interactive tasks -- sitting onto a chair. We propose a hierarchical reinforcement learning framework which relies on a collection of subtask controllers trained to imitate simple, reusable mocap motions, and a meta controller trained to execute the subtasks properly to complete the main task. We experimentally demonstrate the strength of our approach over different non-hierarchical and hierarchical baselines. We also show that our approach can be applied to motion prediction given an image input. A supplementary video can be found at https://youtu.be/3CeN0OGz2cA.

연구 동기 및 목표

• 다양한 인간-물체 구성 조건에서 고정된 동작 패tern이 실패하는 상호작용 작업(예: 앉기)에 대해 물리 기반 운동 합성에서 일반화의 부족을 해결하기.
• 단일 작업에 고정된 훈련 방식으로 유연한 운동 패턴을 구현하기 어려운 비계층적 모델의 한계를 극복하기.
• 의자에 대한 다양한 시작 위치 및 방향(면대면, 뒤쪽, 옆면)에 적응할 수 있는 운동 합성 가능하게 하기.
• 학습된 하위작업 컨트롤러와 메타 컨트롤러를 조합하여 복잡한 고수준 상호작용 작업에 일반화할 수 있는 확장 가능한 프레임워크 개발하기.
• 3D 장면 재구성과 물리 시뮬레이션을 활용해 이미지 입력으로부터의 운동 예측 가능성을 입증하기.

제안 방법

• 움직임 캡처 데이터 기반의 이mitation learning를 통해 독립적으로 훈련되는 재사용 가능한 저수준 하위작업들(예: 걷기, 좌회전, 우회전, 앉기)으로 앉기라는 고수준 작업을 분해하기.
• 물리 시뮬레이션 하에서 기준 모션 캡처 운동을 모방하기 위해 딥 강화학습을 사용해 개별 하위작업 컨트롤러를 훈련하여 물리적으로 타당한 운동 보장하기.
• 현재 인간-의자 공간 구성에 따라 하위작업을 선택하고 순서를 정하는 데 계층적 강화학습을 활용해 훈련한 메타 컨트롤러 설계하기.
• 어려운 초기 구성 조건(예: 의자 뒤쪽 또는 옆면)에서도 훈련 안정성과 성공률을 향상시키기 위해 커리큘럼 학습 구현하기.
• 입력 이미지에서의 3D 의자 검출을 통해 장면를 초기화하고, 시각 입력으로부터의 운동 예측을 가능하게 하며, 물리 기반 시뮬레이션과 통합하기.
• 이전 하위작업의 종료 상태에서 재학습하여 전이 상태에서의 하위작업 성공률을 향상시키고, 순차적 실행에서의 강건성 향상시키기.

실험 결과

연구 질문

• RQ1 비계층적 모델에 비해 다양한 초기 공간 구성 조건(예: 의자 면대면, 뒤쪽, 옆면)에서 인간-의자 앉는 동작을 일반화하는 데 계층적 강화학습 프레임워크가 얼마나 더 효과적인가?
• RQ2 메타 컨트롤러가 다양한 시작 조건에서 재사용 가능한 하위작업(예: 걷기, 좌회전, 우회전, 앉기)을 어떻게 조율하여 주 작업을 달성하는가?
• RQ3 커리큘럼 학습이 어려운 초기 구성 조건(예: 존 2 및 존 3)에서 훈련 안정성과 성공률을 향상시키는 데 얼마나 효과적인가?
• RQ4 3D 장면 재구성과 물리 시뮬레이션을 활용해 단일 이미지 입력으로부터의 운동 예측으로 확장 가능한가?
• RQ5 좌측 및 우측 전환과 같은 보완적 하위작업은 고정 또는 단일 방향 전환 정책에 비해 일반화 수준을 얼마나 향상시키는가?

주요 결과

• 제안된 계층적 접근은 다양한 초기 구성 조건에서 31.61%의 성공률을 기록하여 비계층적 및 고정 순서 기반 베이스라인보다 뚜렷이 뛰어난 성능을 보였다.
• 메타 컨트롤러는 맥락에 따라 하위작업 간 전환을 성공적으로 학습하여, 왼쪽 쪽에서 시작할 경우 walk → left turn, 오른쪽 쪽에서 시작할 경우 walk → right turn를 선호하는 패턴을 보였다.
• 커리큘럼 학습은 어려운 존(예: 존 3)에서의 성공률을 4.05%에서 7.05%로 향상시켜 복잡한 작업에 대한 훈련 안정성 향상 효과를 입증했다.
• 전이 상태에서의 재학습 후 하위작업 성공률이 향상되었으며, 예를 들어 우회전 성공률이 67.59%에서 더 높은 수준으로 상승하여 순차적 실행에서의 강건성 향상이 확인되었다.
• 3D 의자 검출과 물리 기반 시뮬레이션을 조합하여 단일 이미지 입력으로부터의 운동 예측을 가능하게 하여 실제 입력 시나리오에의 적용 가능성을 입증했다.
• 실패 분석 결과, 하위작업 실행 및 전이 실패가 낮은 성공률의 주요 원인임을 확인하여 더 다양한 하위작업 레파지토리 필요성을 강조했다.