[논문 리뷰] An Uncertain Future: Forecasting from Static Images using Variational Autoencoders

Jacob Walker, Carl Doersch외 2명|arXiv (Cornell University)|2016. 06. 25.

Anomaly Detection Techniques and Applications참고 문헌 27인용 수 4

한 줄 요약

이 논문은 정적 이미지에서 조건부 변동형 오토인코더를 제안하여 밀도 있는 픽셀 트랙젝터리를 예측하고, 잠재 변수를 통해 미래 운동의 불확실성을 모델링한다. 다양한 비디오에 대한 인간 레이블 없이 훈련된 이 모델은 여러 가지 타당한 미래 운동을 생성하고, 객체 검출과 같은 후속 작업에 활용 가능한 이식 가능한 표현을 학습한다.

ABSTRACT

In a given scene, humans can often easily predict a set of immediate future events that might happen. However, generalized pixel-level anticipation in computer vision systems is difficult because machine learning struggles with the ambiguity inherent in predicting the future. In this paper, we focus on predicting the dense trajectory of pixels in a scene, specifically what will move in the scene, where it will travel, and how it will deform over the course of one second. We propose a conditional variational autoencoder as a solution to this problem. In this framework, direct inference from the image shapes the distribution of possible trajectories, while latent variables encode any necessary information that is not available in the image. We show that our method is able to successfully predict events in a wide variety of scenes and can produce multiple different predictions when the future is ambiguous. Our algorithm is trained on thousands of diverse, realistic videos and requires absolutely no human labeling. In addition to non-semantic action prediction, we find that our method learns a representation that is applicable to semantic vision tasks.

연구 동기 및 목표

• 가능한 미래 운동의 분포를 모델링하여 정적 이미지에서 픽셀 수준의 시각 예측을 가능하게 한다.
• 이미지만으로는 유추할 수 없는 불확실한 운동 모드를 잠재 변수를 통해 인코딩하여 미래 운동 예측의 모호함을 해결한다.
• 훈련에 인간 레이블이 전혀 필요 없는 자기지도 학습 프레임워크를 개발한다.
• 객체 검출과 같은 의미적 작업에 활용 가능한 일반 목적의 시각 표현을 학습한다.
• 밀도 있는 트랙젝터리 예측이 계산적으로 타당하면서도 rich하고 다양한 예측을 가능하게 함을 입증한다.

제안 방법

• 이미지가 미래 트랙젝터리의 분포를 조건으로 하는 조건부 변동형 오토인코더(CVAE)를 사용한다.
• 모델은 입력된 노이즈 변수를 N(0,1)에서 샘플링하여 피드포워드 컨볼루션 네트워크를 통해 밀도 있는 픽셀 트랙젝터리로 매핑한다.
• 잠재 변수는 운동 불확실성을 인코딩하여 동일한 입력 이미지에서 다양한 예측을 가능하게 한다.
• 모델은 수천 개의 정제되지 않은 비디오에서 인간 레이블 없이 백프로파게이션을 통해 엔드 투 엔드로 훈련된다.
• 이미지 인코더 타워는 입력 이미지를 처리하고 잠재 공간의 분포를 조건으로 한다.
• 디코더 네트워크는 잠재 변수를 시간에 따라 픽셀 수준의 운동 벡터로 매핑하여 미래 트랙젝터리를 생성한다.

실험 결과

연구 질문

• RQ1 딥 러닝 생성 모델은 인간 레이블 없이도 단일 정적 이미지에서 여러 가지 타당한 미래 운동 트랙젝터리를 예측할 수 있는가?
• RQ2 조건부 VAE 프레임워크에서 잠재 변수를 활용해 미래 운동의 불확실성을 효과적으로 모델링할 수 있는가?
• RQ3 자기지도 학습된 운동 예측은 객체 검출과 같은 의미적 시각 작업에 유용한 표현을 이끌 수 있는가?
• RQ4 광학 흐름이나 행동 분류와 비교해 밀도 있는 트랙젝터리 예측이 더 우수한 일반화와 다양성을 제공하는가?
• RQ5 모델의 내부 표현이 제한된 레이블 데이터를 가진 후속 인식 작업에 얼마나 잘 이식 가능한가?

주요 결과

• 모델은 사람의 스쿼트나 스키어링과 같은 모호한 시나리오에 대해 다수의 다양한 실재성 있는 운동 트랙젝터리를 성공적으로 예측한다.
• PASCAL VOC 2012 객체 검출 벤치마크에서, UCF101의 13,000개 비디오 프레임만을 사용해 47.3% mAP를 달성하여 다른 비지도 학습 방법을 능가한다.
• 인간 검출에서 [31]을 능가하는 성능을 보이며, 이는 훈련 데이터에서 인간 운동에 특화되어 있기 때문일 것이다.
• 운동 예측을 위한 표현은 최소한의 레이블 데이터로도 의미적 작업에 잘 일반화된다.
• 픽셀 수준의 예측에서 흔히 발생하는 흐림 현상을 방지하기 위해, 낮은 차원의 구조화된 공간에서 트랙젝터리를 모델링함으로써 문제를 해결한다.
• 이 프레임워크는 가능한 미래의 전체 분포에서 샘플링할 수 있게 하여, 시각 예측에 내재된 불확실성을 포괄한다.