[논문 리뷰] Hierarchical Long-term Video Prediction without Supervision

Nevan Wichers, Ruben Villegas외 2명|arXiv (Cornell University)|2018. 06. 12.

Advanced Data Compression Techniques인용 수 64

한 줄 요약

이 논문은 ground-truth 고수준 감독 없이 고수준 특징을 학습하고 장기 프레임을 예측하는 비지도 계층적 영상 예측 프레임워크(EPVA)를 제시하며, 특징 공간의 적대적 손실을 사용해 Human3.6M에서 예측을 개선한다.

ABSTRACT

Much of recent research has been devoted to video prediction and generation, yet most of the previous works have demonstrated only limited success in generating videos on short-term horizons. The hierarchical video prediction method by Villegas et al. (2017) is an example of a state-of-the-art method for long-term video prediction, but their method is limited because it requires ground truth annotation of high-level structures (e.g., human joint landmarks) at training time. Our network encodes the input frame, predicts a high-level encoding into the future, and then a decoder with access to the first frame produces the predicted image from the predicted encoding. The decoder also produces a mask that outlines the predicted foreground object (e.g., person) as a by-product. Unlike Villegas et al. (2017), we develop a novel training method that jointly trains the encoder, the predictor, and the decoder together without highlevel supervision; we further improve upon this by using an adversarial loss in the feature space to train the predictor. Our method can predict about 20 seconds into the future and provides better results compared to Denton and Fergus (2018) and Finn et al. (2016) on the Human 3.6M dataset.

연구 동기 및 목표

• 짧은 시점을 넘어 고차원 비디오에서 장기 영상 예측의 동기를 제시한다.
• 학습 중 ground-truth 고수준 구조 주석의 필요성을 제거한다.
• 계층적 프레임워크를 통해 고수준 특징 예측을 저수준 픽셀 생성으로부터 분리한다.

제안 방법

• 입력 프레임을 특징 공간으로 인코딩하고 LSTM으로 미래의 고수준 특징을 예측한다.
• 적응 마스킹을 갖춘 시각적 비유 네트워크(VAN)를 사용해 첫 프레임으로부터 미래 프레임을 생성한다.
• 고수준 감독 없이 인코더, 예측기, VAN을 함께 학습하고, 선택적으로 유추 기반 손실(analogy-based loss)을 사용한다.
• EPVA에서 픽셀 수준 L2 손실을 최소화하고, 선택적으로 예측된 특징을 인코더 출력에 맞추며, 특징 공간에서의 적대적 손실을 적용해 예측을 더 선명하게 한다.
• 적대적 손실이 있는 EPVA에서, 예측된 특징 시퀀스와 실제 특징 시퀀스를 구분하도록 Wasserstein 손실로 LSTM 판별기를 학습시키고 그 피드백을 사용해 생성 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 고수준 구조 주석의 감독 없이도 장기 영상 예측이 달성될 수 있는가?
• RQ2 엔코더, 예측기, VAN의 엔드 투 엔드 공동 학습이 ground-truth 랜드마크 없이도 장기 예측 품질을 향상시키는가?
• RQ3 특징 공간에서의 적대적 학습이 L2-전용 목표보다 더 날카롭고 현실적인 장기 예측을 만들어내는가?

주요 결과

• EPVA는 Human3.6M 및 토이 데이터 세트에서 엔드 투 엔드 L2 기준선보다 더 선명한 장기 예측을 생성한다.
• 토이 바운싱 도형 데이터 세트에서, EPVA는 예측된 도형의 올바른 색을 약 97%의 시간에 달성하는 반면 CDNA 기준선은 약 25%에 불과하다.
• Human3.6M에서 EPVA Adversarial은 프레임 64–127에 대한 현실감 평가에서 Finn et al. (2016) 및 Denton and Fergus (2018)보다 유의하게 우수하다.
• EPVA 방법은 네트워크가 움직이는 물체 구조를 발견하고 있음을 나타내는 전경 모션 분할 마스크를 드러낼 수 있다.
• learned encoder features를 이용한 포즈 회귀는 VGG 기반 특징 대비 상대 오차 감소 약 9%에 해당하는 개선을 보인다.
• 특징 공간의 적대적 손실은 블러링을 줄이고 L2 단독보다 장기 현실감을 향상시키는 데 기여한다.