[논문 리뷰] Anticipating many futures: Online human motion prediction and synthesis for human-robot collaboration

Judith Bütepage, Hedvig Kjellström외 1명|arXiv (Cornell University)|2017. 02. 27.

Human Pose and Action Recognition참고 문헌 17인용 수 19

한 줄 요약

이 논문은 RGB-D 데이터를 사용하여 온라인 인간 운동 예측 및 합성을 위한 조건부 변동 자동차오더(CVAE)를 제안하며, 향후 1660 ms까지의 다수의 타당한 미래 운동 경로를 생성함으로써 예측 가능한 인간-로봇 협업을 가능하게 한다. 모델은 인간 운동의 명확성과 예측 가능성에 따라 군집화된 읽기 쉬운 저차원 잠재 공간을 학습하여, 목표별 훈련 데이터 없이도 목표를 추론하고 시간이 지남에 따라 예측 정확도를 향상시킨다.

ABSTRACT

Fluent and safe interactions of humans and robots require both partners to anticipate the others' actions. A common approach to human intention inference is to model specific trajectories towards known goals with supervised classifiers. However, these approaches do not take possible future movements into account nor do they make use of kinematic cues, such as legible and predictable motion. The bottleneck of these methods is the lack of an accurate model of general human motion. In this work, we present a conditional variational autoencoder that is trained to predict a window of future human motion given a window of past frames. Using skeletal data obtained from RGB depth images, we show how this unsupervised approach can be used for online motion prediction for up to 1660 ms. Additionally, we demonstrate online target prediction within the first 300-500 ms after motion onset without the use of target specific training data. The advantage of our probabilistic approach is the possibility to draw samples of possible future motions. Finally, we investigate how movements and kinematic cues are represented on the learned low dimensional manifold.

연구 동기 및 목표

• 로봇이 인간-로봇 협업을 안전하고 원활하게 수행하기 위해 실시간으로 인간의 운동을 예측할 수 있도록 하는 것.
• 운동 경로 기반 분류의 한계를 극복하기 위해 불확실성 하에서 동적이고 비선형적인 운동 의존성을 모델링하는 것.
• 목표별 훈련 데이터 없이도 인간 운동을 예측하고 행동 목표를 추론하는 것.
• 인간 운동의 명확성과 예측 가능성에 대해 분리된 저차원 잠재 표현을 학습하는 것.
• 미래 운동의 확률적 샘플링이 의도 추론을 향상시키고 장기 계획을 지원함을 입증하는 것.

제안 방법

• 모델은 RGB-D 이미지에서 추출한 뼈대 시퀀스를 기반으로 훈련되어 과거 관측치를 바탕으로 향후 운동을 예측한다.
• 시계열 인코더-디코더 아키텍처를 사용하여 인간 운동 데이터의 순차적 의존성을 포착한다.
• 잠재 변수는 암시적 추론을 통해 추론되어 효율적인 온라인 예측과 불확실성 추정이 가능해진다.
• 향후 운동은 잠재 변수에 대한 학습된 후행 분포에서 샘플링하여 생성된다.
• 주성분 분석(PCA)을 잠재 공간에 적용하여 명확성과 예측 가능성의 분리 여부를 시각화하고 분석한다.
• 예측된 운동 시퀀스의 종점 분류를 통해 목표 추론을 수행하며, 최근접 이웃 방법을 사용한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 관측된 운동 데이터로부터 실시간으로 다수의 타당한 미래 인간 운동 경로를 예측할 수 있는가?
• RQ2 목표별 훈련 데이터를 사용하지 않고도 모델은 도착 목표를 얼마나 잘 추론할 수 있는가?
• RQ3 학습된 CVAE의 잠재 공간이 명확성과 예측 가능한 운동 패턴을 분리하는가?
• RQ4 조기 운동 단계에서 명확한 운동 신호가 목표 예측 성능을 얼마나 향상시키는가?
• RQ5 모델의 불확실성 추정과 다중 미래 샘플링이 인간-로봇 협업의 예측 가능한 의사결정을 얼마나 향상시키는가?

주요 결과

• CVAE는 1660 ms까지의 향후 운동을 고해상도로 예측하여 HRI에서 장기 계획 수립을 가능하게 한다.
• 목표(2) 향한 명확한 운동의 경우 200 ms 후에 목표 추론 정확도가 100%에 도달하였고, 예측 가능한 운동의 경우 800 ms 후에 97.02%의 정확도를 기록하였다.
• 명확한 운동 경로는 학습된 잠재 공간에서 일관되게 군집화되어 있으며, 특히 자연스러운 접근 운동에서 두드러진다. 반면 비자연스러운 운동(예: 왼쪽으로의 접근)은 겹치는 표현을 보인다.
• 모델은 운동 시작 후 200 ms가 되는 순간에도 목표(2) 향한 명확한 운동에 대해 100%의 분류 정확도를 달성하여 조기 의도 인식을 입증하였다.
• 예측 가능한 운동 경로는 명확한 운동 경로보다 잠재 공간에서 더 잘 분리되어 있어, 예측 가능성은 명확성보다 더 강력하게 표현된다는 것을 시사한다.
• 훈련 데이터에 비자연스러운 운동이 포함되어 있지 않은 것이 비자연스러운 명확한 운동의 분리가 어려운 데 기여한 것으로 보이며, 다양한 훈련 데이터가 필요함을 시사한다.