[논문 리뷰] Long-Term Video Generation of Multiple Futures Using Human Poses.

Naoya Fushishita, Antonio Tejero-de-Pablos외 2명|arXiv (Cornell University)|2019. 04. 16.

Human Pose and Action Recognition참고 문헌 26인용 수 2

한 줄 요약

이 논문은 잠재 코드와 흡인점(Attraction Points)을 조합하여 다양한 행동과 궤적을 반영하는 장기적인 비디오 미래를 인간의 자세 시퀀스에서 생성하는 새로운 적대적 학습 프레임워크를 제안한다. 1D 컨볼루션 네트워크를 사용하여 확장된 자세 시퀀스를 예측하고 현실적인 비디오 출력을 렌더링하며, 현실성, 다양성, 정확성 측면에서 이전 방법들을 능가한다.

ABSTRACT

Predicting the near-future from an input video is a useful task for applications such as autonomous driving and robotics. While most previous works predict a single future, multiple futures with different behaviors can possibly occur. Moreover, if the predicted future is too short, it may not be fully usable by a human or other system. In this paper, we propose a novel method for future video prediction capable of generating multiple long-term futures. This makes the predictions more suitable for real applications. First, from an input human video, we generate sequences of future human poses as the image coordinates of their body-joints by adversarial learning. We generate multiple futures by inputting to the generator combinations of a latent code (to reflect various behaviors) and an attraction point (to reflect various trajectories). In addition, we generate long-term future human poses using a novel approach based on unidimensional convolutional neural networks. Last, we generate an output video based on the generated poses for visualization. We evaluate the generated future poses and videos using three criteria (i.e., realism, diversity and accuracy), and show that our proposed method outperforms other state-of-the-art works.

연구 동기 및 목표

• 로봇 공학 및 자율 주행과 같은 실세계 응용 분야에서의 활용도를 제한하는 단일 미래 예측의 한계를 해결한다.
• 기존 방법의 짧은 시간 범위 제한을 극복하여 즉각적인 프레임을 초월한 장기적인 미래 비디오 예측을 가능하게 한다.
• 예측된 미래에 다양한 행동 및 궤적 변형을 생성하여 실제 인간 운동의 다양성을 반영한다.
• 시각적으로 일관되고 시간적으로 일관된 비디오 출력을 생성함으로써 비디오 예측의 실용적 유용성을 향상시킨다.

제안 방법

• 입력 비디오 프레임에서 미래 인간 신체 관절 좌표 시퀀스를 생성하기 위해 적대적 학습을 사용한다.
• 다양한 행동과 이동 궤적을 모델링하기 위해 생성기의 조건부 입력으로 잠재 코드와 흡인점을 도입한다.
• 자세 시퀀스의 장기적인 시간적 의존성을 모델링하기 위해 일차원 컨볼루션 신경망(1D-CNN)을 활용한다.
• 생성된 자세 시퀀스를 시각적 비디오 출력으로 변환하여 정성적 평가 및 시각화를 수행한다.
• 예측된 자세의 현실성과 일관성을 향상시키기 위해 생성기의 훈련에 적대적 손실을 사용한다.
• 실제 성능, 다양성, 정확성의 균형을 맞추기 위해 인지적 손실, 적대적 손실, 재구성 손실의 조합을 최적화하여 모델을 학습시킨다.

실험 결과

연구 질문

• RQ1 비디오 예측 모델은 다양한 인간 행동과 궤적을 반영하는 다수의 장기적인 미래를 생성할 수 있는가?
• RQ2 1D-CNN 기반 아키텍처는 순환 또는 2D-CNN 접근 방식에 비해 인간 자세 시퀀스의 장기적인 시간 동역학을 얼마나 잘 모델링할 수 있는가?
• RQ3 잠재 코드와 흡인점의 사용이 예측된 미래의 다양성과 현실성에 얼마나 기여하는가?
• RQ4 생성된 비디오가 지표 비디오에 비해 인지적 품질과 운동 타당성 측면에서 얼마나 우수한가?

주요 결과

• 제안된 방법은 최신 기준에 비해 더 현실적이고 다양하며 정확한 다수의 장기적인 비디오 미래를 생성한다.
• 잠재 코드와 흡인점의 사용은 행동과 궤적의 효과적인 분리(disentanglement)를 가능하게 하여 예측의 다양성을 향상시킨다.
• 1D-CNN 기반 자세 생성 네트워크는 장기적인 시간적 의존성을 효과적으로 모델링하여 일관되고 타당한 운동 시퀀스를 생성한다.
• 인간 평가와 정량적 지표를 통해 모델이 기존 방법보다 현실성과 예측 미래의 다양성에서 뛰어난 성능을 보임을 확인하였다.
• 렌더링된 비디오 출력은 시각적으로 일관되며 장기간에 걸쳐 타당한 인간 운동 패턴을 보여준다.
• 표준 벤치마크를 통해 실질성, 다양성, 정확성이라는 세 가지 평가 기준에서 모두 뛰어난 성능을 달성하였다.