[논문 리뷰] Learning to Generate Long-term Future via Hierarchical Prediction

Ruben Villegas, Shuicheng Yan외 4명|arXiv (Cornell University)|2017. 04. 19.

Human Pose and Action Recognition참고 문헌 6인용 수 180

한 줄 요약

높은 수준의 구조(포즈)를 먼저 예측하고, 단일 관찰 프레임에서 장기 미래 프레임을 생성하는 계층적 프레임워크를 제안하여 픽셀 수준 재귀에서의 오류 누적을 피합니다. Human3.6M 및 Penn Action에서 장기 비디오 예측 성능이 향상됨을 보여줍니다.

ABSTRACT

We propose a hierarchical approach for making long-term predictions of future frames. To avoid inherent compounding errors in recursive pixel-level prediction, we propose to first estimate high-level structure in the input frames, then predict how that structure evolves in the future, and finally by observing a single frame from the past and the predicted high-level structure, we construct the future frames without having to observe any of the pixel-level predictions. Long-term video prediction is difficult to perform by recurrently observing the predicted frames because the small errors in pixel space exponentially amplify as predictions are made deeper into the future. Our approach prevents pixel-level error propagation from happening by removing the need to observe the predicted frames. Our model is built with a combination of LSTM and analogy based encoder-decoder convolutional neural networks, which independently predict the video structure and generate the future frames, respectively. In experiments, our model is evaluated on the Human3.6M and Penn Action datasets on the task of long-term pixel-level video prediction of humans performing actions and demonstrate significantly better results than the state-of-the-art.

연구 동기 및 목표

• 트레이스와 같이 반복적으로 프레임을 생성하는 과정에서의 누적 오류로 인한 장기 픽셀 수준 비디오 예측의 난이도를 동기 부여하고 해결합니다.
• 고수준 구조를 먼저 예측한 다음 구조를 사용해 미래 프레임을 생성하는 계층적 접근 방식을 제안합니다.
• prediction 과정에서 이미 생성된 프레임을 관찰하는 의존성을 피함으로써 오류 전파를 줄입니다.
• Penn Action 및 Human3.6M와 같은 실제 인간 동작 데이터셋에서의 효과를 보여줍니다.

제안 방법

• 관찰 프레임으로부터 고수준 구조(2D 포즈 히트맵)를 추정하기 위해 Hourglass 포즈 추정기를 사용합니다.
• 과거 포즈 다이나믹으로부터 미래 포즈를 예측하기 위해 시퀀스-투-시퀀스 LSTM을 사용하되 생성된 포즈를 피드백하지 않습니다.
• 공유 이미지-구조 임베딩을 통해 예측된 미래 포즈 차이로 조건화하여 마지막 관찰 프레임을 변환하는 시각-구조적 비유(visual-structure analogy)를 사용해 미래 프레임을 생성합니다.
• 포즈 예측기와 이미지 생성기를 각각 학습시키고 테스트 시 다중 단계 예측을 위해 결합합니다.
• 이미지 품질, 특징 공간 유사성, 그리고 적대적 현실감을 위한 복합 손실로 최적화합니다(불일치 인식기(mismatch-aware discriminator) 포함).

실험 결과

연구 질문

• RQ1 포즈를 먼저 예측하고 프레임을 예측하는 것이 픽셀 수준의 오류 누적을 방지하여 장기 픽셀 수준 비디오 예측을 향상시킬 수 있는가?
• RQ2 도전적인 인간 동작 데이터셋에서 포즈 기반의 계층적 예측이 현실적인 미래 프레임 생성을 얼마나 효과적으로 수행하는가?
• RQ3 시각-구조 비유 메커니즘이 예측된 고수준 구조로부터 미래 프레임의 정확한 생성에 기여하는가?
• RQ4 구조 예측기와 이미지 생성기의 개별 학습 같은 학습 전략이 장기 예측 성능에 어떤 영향을 미치는가?
• RQ5 이 접근법이 실제 데이터셋에서 픽셀 대 픽셀 재귀 방법보다 더 긴 시퀀스(최대 128 단계)를 생성할 수 있는가?

주요 결과

• 계층적 접근은 Penn Action 및 Human3.6M에서 128 프레임의 장기 예측을 가능하게 하며 베이스라인을 능가합니다.
• 포즈 기반 LSTM이 과거 포즈 데이터로부터 미래 포즈 시퀀스를 예측하여 생성된 프레임의 오차 전파를 피합니다.
• 공유 임베딩으로의 시각-구조적 비유는 예측된 구조를 조건으로 하는 고품질의 미래 프레임을 생성하며, 예측 프레임을 관찰할 필요가 없습니다.
• 주관적(AMT) 테스트와 동작 인식 테스트에서 인지적 리얼리티와 올바른 동작 예측이 합성 LSTM 및 광류(optical flow) 베이스라인을 능가합니다.
• 배경 모션은 모델링되지 않으며, 단일 프레임 관찰로 생성하는 전경 인간 동작 예측에 중점을 둡니다.