[논문 리뷰] Dual Motion GAN for Future-Flow Embedded Video Prediction

Xiaodan Liang, Lisa Lee외 2명|arXiv (Cornell University)|2017. 08. 01.

Advanced Vision and Imaging참고 문헌 27인용 수 15

한 줄 요약

이 논문은 공유된 확률적 운동 인코더와 이중 적대적 훈련을 사용하여 미래 비디오 프레임과 광학 흐름을 동시에 예측하는 이중 운동 GAN을 제안한다. 상호 피드백을 통해 예측된 프레임과 흐름 간의 일관성을 강제함으로써, 모델은 더 선명하고 현실적인 예측을 생성하며 비디오 예측 및 비지도 표현 학습 분야에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Future frame prediction in videos is a promising avenue for unsupervised video representation learning. Video frames are naturally generated by the inherent pixel flows from preceding frames based on the appearance and motion dynamics in the video. However, existing methods focus on directly hallucinating pixel values, resulting in blurry predictions. In this paper, we develop a dual motion Generative Adversarial Net (GAN) architecture, which learns to explicitly enforce future-frame predictions to be consistent with the pixel-wise flows in the video through a dual-learning mechanism. The primal future-frame prediction and dual future-flow prediction form a closed loop, generating informative feedback signals to each other for better video prediction. To make both synthesized future frames and flows indistinguishable from reality, a dual adversarial training method is proposed to ensure that the future-flow prediction is able to help infer realistic future-frames, while the future-frame prediction in turn leads to realistic optical flows. Our dual motion GAN also handles natural motion uncertainty in different pixel locations with a new probabilistic motion encoder, which is based on variational autoencoders. Extensive experiments demonstrate that the proposed dual motion GAN significantly outperforms state-of-the-art approaches on synthesizing new video frames and predicting future flows. Our model generalizes well across diverse visual scenes and shows superiority in unsupervised video representation learning.

연구 동기 및 목표

• 기존 비지도 비디오 생성 방법에서의 흐린 미래 프레임 예측 문제를 해결한다.
• 픽셀 단위의 운동 동역학을 명시적으로 모델링하여 미래 프레임 예측의 현실성과 일관성을 향상시킨다.
• 이중 적대적 메커니즘을 통해 미래 프레임 및 미래 흐름 예측의 공동 학습을 가능하게 한다.
• 변분 추론 기반의 확률적 운동 인코더를 사용하여 자연 장면에서의 공간적 운동 불확실성을 포착한다.
• 행동 인식과 같은 후속 작업을 위한 비지도 비디오 표현 학습에서 모델의 효과성을 입증한다.

제안 방법

• 변분 자동차량 인코더 기반의 확률적 운동 인코더를 사용하여 공간적 위치 간의 운동 불확실성을 모델링한다.
• 두 개의 생성자(한 명은 미래 프레임 예측, 다른 한 명은 미래 흐름 예측)를 사용하는 이중 적대적 훈련 프레임워크를 적용한다.
• 실제 데이터와 생성된 데이터를 사용하여 프레임의 현실성과 흐름의 현실성에 대해 각각 하나의 판별자로 훈련함으로써 충실도를 강제한다.
• 피드백 루프를 구현: 예측된 흐름을 사용해 입력 프레임을 왜곡하고 왜곡된 프레임을 생성하며, 이를 프레임 판별자로 평가한다.
• 예측된 프레임과 실제 프레임을 사용해 광학 흐름을 추정하고, 이를 흐름 판별자로 평가함으로써 이중 피드백 루프를 완성한다.
• 운동 인코더의 공유 잠재 표현과 흐름 왜곡 레이어를 통합하여 엔드 투 엔드 미분 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 프레임 전용 기준과 비교해 볼 때, 미래 프레임과 광학 흐름을 동시에 예측하는 것이 비디오 프레임 생성의 현실성과 선명도를 향상시키는가?
• RQ2 프레임 생성자와 흐름 생성자 간의 이중 적대적 훈련이 상호 피드백을 통해 두 예측의 품질을 어떻게 향상시키는가?
• RQ3 확률적 운동 인코더가 복잡한 비디오 장면에서 공간적으로 다양해지는 운동 불확실성을 어느 정도 포착할 수 있는가?
• RQ4 이중 운동 GAN 아키텍처는 실제 도로 카메라 영상과 같은 다양한 비디오 도메인에 일반화되는가?
• RQ5 모델이 학습한 표현은 행동 분류와 같은 비지도 비디오 표현 학습 작업으로 효과적으로 전이될 수 있는가?

주요 결과

• 이중 운동 GAN은 미래 프레임 예측에서 최신 기술 수준의 성능을 달성하였으며, KITTI 및 UCF-101 데이터셋에서 이전 방법들을 크게 앞서간다.
• UCF-101 데이터셋에서, 사전 훈련을 통해 미래 예측을 수행한 후 행동 인식 정확도가 55.1%에 도달하였으며, 이는 이전 비지도 방법을 초월한다.
• KITTI 플로우 2012 데이터셋에서 평균 종단 오차(EPE)를 7.6으로 낮추어, DVF 및 Ours(flow GAN)와 같은 비지도 기준을 능가한다.
• 제거 실험을 통해 이중 적대적 메커니즘과 공유된 확률적 운동 인코더가 성능 향상에 핵심적임을 확인하였으며, 제거된 모델은 정확도가 크게 떨어졌다.
• 다양하고 복잡한 운동 패턴을 포함한 원시 YouTube 도로 카메라 영상에서도 모델은 강력한 성능을 유지하며 잘 일반화됨을 보였다.
• 프레임 생성자와 흐름 생성자의 예측을 융합하면 가장 우수한 결과를 얻었으며, 이는 이중 학습 메커니즘의 상호 보완적 이점이 있음을 시사한다.