[논문 리뷰] Human Motion Prediction using Semi-adaptable Neural Networks

Yujiao Cheng, Weiye Zhao외 2명|arXiv (Cornell University)|2018. 10. 01.

Human Pose and Action Recognition참고 문헌 16인용 수 4

한 줄 요약

이 논문은 오프라인 훈련과 온라인 순환 최소 제곱 파rameter 적응(Recursive Least Squares Parameter Adaptation, RLS-PAA)을 조합한 반가소성 신경망을 제안하여 실시간으로 변화하는 인간 행동에 대한 모델 적응과 예측 불확실성 추정을 가능하게 한다. 제안된 방법은 최신 기술 대비 예측 정확도와 계산 효율성이 뛰어나며, 기준 데이터셋에서 평균 제곱 오차를 최대 75%까지 감소시킨다.

ABSTRACT

Human motion prediction is an important component to facilitate human robot interaction. Robots need to accurately predict human's future movement in order to safely plan its own motion trajectories and efficiently collaborate with humans. Many recent approaches predict human's movement using deep learning methods, such as recurrent neural networks. However, existing methods lack the ability to adapt to time-varying human behaviors, and many of them do not quantify uncertainties in the prediction. This paper proposes an approach that uses a semi-adaptable neural network for human motion prediction, and provides uncertainty bounds of the predictions in real time. In particular, a neural network is trained offline to represent the human motion transition model, and then recursive least square parameter adaptation algorithm (RLS-PAA) is adopted for online parameter adaptation of the neural network and for uncertainty estimation. Experiments on several human motion datasets verify that the proposed method significantly outperforms the state-of-the-art approach in terms of prediction accuracy and computation efficiency.

연구 동기 및 목표

• 기존 딥 러닝 기반 인간 운동 예측 방법의 한계, 특히 시간에 따라 변화하는 행동에 적응하지 못하고 예측 불확실성을 측정하지 못하는 문제를 해결하기 위해.
• 다양한 운동 패턴과 개인의 차이를 감안하여도 높은 정확도를 유지하면서 계산 효율성이 뛰어난 방법을 개발하기 위해.
• 동적 인간-로봇 상호작용 환경에서 예측 정밀도 향상을 위해 신경망 파rameter의 실시간 온라인 적응을 가능하게 하기 위해.
• 안전한 로봇 운동 계획을 위한 인간-로봇 협업 환경에서 신뢰할 수 있는 예측 불확실성 범위를 제공하기 위해.

제안 방법

• 히스토리컬한 관절 궤적 데이터에서 전역적인 인간 운동 전이 모델을 학습하기 위해 피드포워드 신경망을 오프라인으로 훈련한다.
• 온라인 파rameter 적응은 네트워크의 마지막 레이어에만 적용되며, 순환 최소 제곱 파ram터 적응 알고리즘(RLS-PAA)을 사용한다.
• RLS-PAA는 실시간 예측 오차를 기반으로 최종 레이어 가중치를 신속하고 순환적으로 업데이트함으로써 변화하는 운동 역학에 빠르게 적응할 수 있도록 한다.
• 알고리즘은 과거 데이터의 영향을 조절하기 위해 무시 요소(forgetting factor)를 통합하여 최근 운동 패턴에 동적으로 적응할 수 있도록 한다.
• 예측 불확실성은 RLS-PAA 공분산 행렬에서 직접 추정되며, 실시간 신뢰 구간을 제공한다.
• 전체 네트워크를 거쳐 역전파를 수행하지 않기 때문에 전체 온라인 미세조정 대비 계산 효율성이 뛰어나며, 오직 마지막 레이어만 적응된다.

실험 결과

연구 질문

• RQ1 반가소성 신경망 아키텍처는 고정된 오프라인 모델 대비 인간 운동 예측 정확도를 향상시킬 수 있는가?
• RQ2 RLS-PAA를 사용해 마지막 레이어만 온라인 적응하는 방법이 전체 네트워크 온라인 학습 대비 갑작스러운 인간 운동 변화에 더 신속하고 정확하게 대응할 수 있는가?
• RQ3 제안된 방법은 인간 운동 예측의 불확실성을 신뢰할 만하게 추정할 수 있는가? 이는 안전한 로봇 궤도 계획을 위한 기초가 된다.
• RQ4 RLS-PAA 기반 방법의 성능은 다양한 운동 데이터셋과 운동 유형에서 식별 기반 알고리즘과 비교해 어떻게 다른가?

주요 결과

• CMU 데이터셋에서 제안된 방법은 평균 제곱 추정 오차(MSEE)가 5.5728 cm²을 기록하여 식별 기반 방법(21.9248 cm²) 대비 74.6% 감소시켰다.
• Kinect 데이터셋에서는 식별 기반 방법의 MSEE 27.3493 cm²에서 RLS-PAA 기반 방법이 12.0419 cm²로 감소하여 55.9% 향상되었다.
• 시간 변화형(TV) 및 시간 불변형(TI) 인공 데이터셋에서 RLS-PAA 방법은 각각 MSEE 2.2261 cm² 및 1.3180 cm²를 기록하여 식별 기반 및 비적응 기반 기준보다 뛰어난 성능을 보였다.
• 다양한 운동 유형과 데이터셋에서 안정적이고 뛰어난 정확도 향상을 보이며 뛰어난 성능을 유지도했다.
• 온라인 적응 과정에서 전체 역전파를 피하기 때문에 식별 기반 방법 대비 계산 효율성이 크게 향상되었다.
• RLS-PAA가 제공하는 불확실성 추정치는 운동 역학 변화에 민감하게 반응하며 신뢰할 수 있으며, 안전한 로봇 궤도 계획을 뒷받침하는 데 유용하다.