[논문 리뷰] Learning Variations in Human Motion via Mix-and-Match Perturbation

Mohammad Sadegh Aliakbarian, Fatemeh Sadat Saleh외 4명|arXiv (Cornell University)|2019. 08. 02.

Human Pose and Action Recognition참고 문헌 34인용 수 7

한 줄 요약

이 논문은 인간 운동 예측에서 진정한 다양성을 확보하기 위해 조건부 변동 자동차오더(conditional variational autoencoder) 기반의 순환 인코더-디코더 네트워크의 은닉 상태를 확률적으로 편향시키는 방법인 Mix-and-Match Perturbations를 제안한다. 학습 중에 은닉 상태의 무작위 부분집합을 선택하고 편향함으로써 모델은 생성 과정에서 노이즈에 의존하도록 강제되며, 이로 인해 상태 최신 기술(SOTA)의 확률적 방법보다 다양성과 예측 정확도 모두에서 뛰어난 고품질의 미래 자세 시퀀스를 생성한다. 추론 시 행동 클래스 지식이 필요로 하지 않는다.

ABSTRACT

Human motion prediction is a stochastic process: Given an observed sequence of poses, multiple future motions are plausible. Existing approaches to modeling this stochasticity typically combine a random noise vector with information about the previous poses. This combination, however, is done in a deterministic manner, which gives the network the flexibility to learn to ignore the random noise. In this paper, we introduce an approach to stochastically combine the root of variations with previous pose information, which forces the model to take the noise into account. We exploit this idea for motion prediction by incorporating it into a recurrent encoder-decoder network with a conditional variational autoencoder block that learns to exploit the perturbations. Our experiments demonstrate that our model yields high-quality pose sequences that are much more diverse than those from state-of-the-art stochastic motion prediction techniques.

연구 동기 및 목표

• 기존의 확률적 운동 예측 모델이 랜덤 노이즈를 무시하게 되는 한계를 해결하기 위해.
• 모델이 예측을 위해 노이즈에 의존하도록 하여 진정된 확률성을 강제하는 방법을 개발하기 위해.
• 장기 예측에서 특히 중요한, 향후 운동 예측의 다양성을 향상시키면서도 높은 생성 품질을 유지하기 위해.
• 학습 또는 추론 시 행동 클래스 레이블이 필요로 하지 않는 행동 무관(/action-agnostic) 운동 예측을 가능하게 하기 위해.
• 생성된 운동 시퀀스의 품질과 다양성을 정량적으로 측정할 수 있는 새로운 평가 지표를 도입하기 위해.

제안 방법

• 모든 은닉 상태에 노이즈를 결정적으로 조합하는 대신, 각 학습 반복에서 은닉 상태의 무작위 부분집합을 편향시키는 Mix-and-Match Perturbations를 도입한다.
• 조건부 변동 자동차오더(CVAE) 프레임워크 내에서 RNN 디코더의 은닉 상태에 이 편향 전략을 적용함으로써, 모델이 노이즈를 변동의 근본 원천으로 학습하도록 보장한다.
• 편향된 은닉 상태를 통해 역전파를 수행할 수 있도록 확률적 재구성 기법을 사용하여 엔드 투 엔드 학습을 가능하게 한다.
• 디코더에 잔차 연결을 활용하여 절대 자세가 아닌 운동 속도를 모델링함으로써 장기 예측의 안정성을 향상시킨다.
• 재구성 손실과 KL 발산의 조합을 사용하여 모델을 학습하며, 다양성은 아키텍처의 복잡성보다는 편향 메커니즘을 통해 강제한다.
• 표준 지표(예: MAE)와 함께, 생성된 시퀀스 간의 쌍별 거리 기반으로 새롭게 도입된 다양성 지표를 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 확률적 운동 예측 모델이 노이즈를 변동의 근원으로 진정으로 활용하도록 만들 수 있는가, 즉 노이즈를 무시하는 방식으로 학습하지 않도록 할 수 있는가?
• RQ2 학습 중에 은닉 상태의 부분집합을 무작위로 수정하는 편향 전략이 더 다양하고 현실적인 미래 운동 시퀀스를 생성하는 데 기여하는가?
• RQ3 이러한 방법이 학습 또는 추론 시 행동 클래스 감독 없이도 운동 예측의 다양성에서 최고 수준의 성능을 달성할 수 있는가?
• RQ4 생성 샘플 수(K)의 크기가 예측 품질과 다양성 사이의 트레이드오프에 어떻게 영향을 미치는가?
• RQ5 새로운 정량적 지표가 생성된 인간 운동 시퀀스의 품질과 다양성을 효과적으로 측정할 수 있는가?

주요 결과

• 제안된 Mix-and-Match Perturbation 방법은 기존 최고 수준의 기준 모델들보다 훨씬 높은 다양성을 보이며, 학습 시간이 지남에 따라 다양성이 증가하는 것으로 나타났다. 반면 LHP 및 RHP와 같은 모델들은 다양성을 유지하지 못한다.
• 모델은 적대적 손실이나 행동 클래스 정보 없이도 평균 각도 오차(MAE) 측면에서 결정론적 SOTA 방법과 동등하거나 이를 초월하는 고품질의 운동 시퀀스를 생성한다.
• K개의 생성 결과 중 최고의 결과를 비교했을 때, LHP, RHP, LPP와 같은 확률적 기준 모델들보다도 다양성 면에서 뛰어난 성능을 보이며, 여러 가지 가능한 미래를 효과적으로 탐색할 수 있음을 입증한다.
• K = 50일 때도 높은 품질의 예측을 유지하며, K를 50 이상으로 늘여도 성능 향상이 미미하여 K = 50가 최적 성능을 위한 충분한 값임을 시사한다.
• 제거 분석 결과, 다양성이 크게 증가하는 것은 편향 강도(α)가 0.7를 초과할 때에만 발생하지만, 이와 같은 높은 값은 운동 품질을 떨어뜨리므로 다양성과 현실성 사이의 상충 관계를 확인한다.
• 인간 평가와 정량적 지표 모두가 모델이 다양하고 타당하며 현실적인 운동 시퀀스를 생성하며, 이 다양성이 아키텍처적 요소가 아닌 노이즈에 의해 유도됨을 확인한다.