[논문 리뷰] Human Motion Prediction via Spatio-Temporal Inpainting

Alejandro Hernandez Ruiz, Jüergen Gall외 1명|arXiv (Cornell University)|2018. 12. 13.

Human Pose and Action Recognition참고 문헌 35인용 수 16

한 줄 요약

이 논문은 시공간 인paint링 문제로 설정된 장기 3D 인간 운동 예측을 위한 시공간 GAN 기반 프레임워크를 제안한다. 이는 신체 자세와 절대 위치를 동시에 모델링하며, L2 손실의 한계를 극복하기 위해 주파수 기반 메트릭을 도입하여 Human3.6M에서 최신 기술 성능을 달성한다. 특히 가림, 프레임 누락에 대해 강건하며, 액션 레이블 없이도 2초 분량의 현실적인 운동 시퀀스를 생성한다.

ABSTRACT

We propose a Generative Adversarial Network (GAN) to forecast 3D human motion given a sequence of past 3D skeleton poses. While recent GANs have shown promising results, they can only forecast plausible motion over relatively short periods of time (few hundred milliseconds) and typically ignore the absolute position of the skeleton w.r.t. the camera. Our scheme provides long term predictions (two seconds or more) for both the body pose and its absolute position. Our approach builds upon three main contributions. First, we represent the data using a spatio-temporal tensor of 3D skeleton coordinates which allows formulating the prediction problem as an inpainting one, for which GANs work particularly well. Secondly, we design an architecture to learn the joint distribution of body poses and global motion, capable to hypothesize large chunks of the input 3D tensor with missing data. And finally, we argue that the L2 metric, considered so far by most approaches, fails to capture the actual distribution of long-term human motion. We propose two alternative metrics, based on the distribution of frequencies, that are able to capture more realistic motion patterns. Extensive experiments demonstrate our approach to significantly improve the state of the art, while also handling situations in which past observations are corrupted by occlusions, noise and missing frames.

연구 동기 및 목표

• 2초 이상의 장기 3D 인간 운동을 절대 위치를 포함해 예측하는 데 있어 기존 방법의 한계를 해결하기 위해.
• 특히 장기 시퀀스에서 현실적인 운동 패턴을 포착하는 데에 L2 손실의 한계를 극복하기 위해.
• 학습 또는 추론 시 액션 레이블이 필요 없이 운동 예측을 가능하게 하기 위해.
• 과거 관측에서 가림, 노이즈, 프레임 누락에 대한 강건성을 향상시키기 위해.
• 평가를 위해 인간 운동의 분포를 더 잘 포착하는 메트릭을 개발하기 위해.

제안 방법

• 3D 스켈레톤 시퀀스를 시공간 텐서로 표현하여 운동 예측 문제를 시공간 인paint링 문제로 재정의한다.
• 시간적 연속성을 확보한 완전 컨volution형 생성자로 향후 자세와 절대 위치를 예측한다.
• 인간형 운동과 현실적인 주파수 분포를 강제하기 위해 세 개의 독립적 판별기를 도입한다.
• 재구성된 과거 프레임에 대해서만 L2 손실을 사용하고, 향후 예측은 전적으로 adversarial 학습에 의해 이끌린다.
• 생성된 시퀀스와 진짜 시퀀스의 스펙트럼 분포를 비교하여 운동의 현실감을 평가하기 위해 주파수 기반 메트릭 두 가지를 도입한다.
• 전체적으로 adversarial 손실과 주파수 기반 메트릭을 사용해 엔드 투 엔드로 모델을 학습하며, 향후 프레임의 감독에 L2 손실에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 GAN 기반 접근법이 절대 위치를 포함한 2초 이상의 현실적인 장기 3D 인간 운동 시퀀스를 생성할 수 있는가?
• RQ2 L2 손실을 주파수 기반 메트릭으로 대체함으로써 장기 예측에서 더 현실적인 운동 패턴을 도출할 수 있는가?
• RQ3 모델이 액션 레이블의 명시적 지도 없이도 새로운 액션에 일반화할 수 있는가?
• RQ4 과거 시퀀스에서 가림, 프레임 누락, 노이즈 데이터에 대해 모델의 강건성은 어느 정도인가?
• RQ5 제안된 주파수 기반 메트릭이 평가에서 L2 손실보다 운동의 현실감을 더 잘 포착할 수 있는가?

주요 결과

• STMI-GAN 모델은 Human3.6M 데이터셋에서 최신 기술 성능을 달성하며, 이전 방법들에 비해 장기 운동 예측에서 뚜렷한 우수성을 보였다.
• 인간 평가 결과, 생성된 절대 운동 시퀀스 중 38.39%가 인간 평가자에 의해 실제 운동으로 분류되어 높은 현실감을 입증했다.
• 관절 가림 시 L2 오차가 108.99, 프레임 누락 시 102.03을 기록하여 NoGAN 및 선형 보간과 같은 베이스라인을 압도했다.
• 80%의 가림에 대해 강건하게 작동하여, 체계적 또는 무작위로 관절과 프레임이 손실된 경우에도 타당한 운동을 생성했다.
• 주파수 기반 메트릭은 운동 의미를 효과적으로 포착하여, L2로 학습된 모델에서 흔히 나타나는 정적 평균 자세 경향을 줄였다.
• 절단 분석을 통해 세 개의 독립적 판별기가 인간형 운동과 시간적 연속성을 갖춘 운동 생성에 필수적임을 확인했다.