[논문 리뷰] Transformation-Based Models of Video Sequences

Joost R. van Amersfoort, Anitha Kannan외 4명|arXiv (Cornell University)|2017. 01. 29.

Advanced Image Processing Techniques참고 문헌 10인용 수 63

한 줄 요약

논문은 다음 영상 프레임을 예측하기 위해 패치에 대한 지역 어파인 변환을 예측함으로써 작은 모델로 선명한 생성이 가능하며, 생성 프레임에 대해 분류기 실행 기반의 평가 프로토콜을 도입한다.

ABSTRACT

In this work we propose a simple unsupervised approach for next frame prediction in video. Instead of directly predicting the pixels in a frame given past frames, we predict the transformations needed for generating the next frame in a sequence, given the transformations of the past frames. This leads to sharper results, while using a smaller prediction model. In order to enable a fair comparison between different video frame prediction models, we also propose a new evaluation protocol. We use generated frames as input to a classifier trained with ground truth sequences. This criterion guarantees that models scoring high are those producing sequences which preserve discriminative features, as opposed to merely penalizing any deviation, plausible or not, from the ground truth. Our proposed approach compares favourably against more sophisticated ones on the UCF-101 data set, while also being more efficient in terms of the number of parameters and computational cost.

연구 동기 및 목표

• 비디오에서 다음 프레임 예측을 위한 비지도 학습의 동기를 제시한다.
• 작고 간결한 모델로 선명하고 그럴듯한 프레임을 생성하기 위한 변환 공간 접근법을 제안한다.
• 패치 기반의 어파인 변환 추출기와 다음 프레임 변환을 예측하는 CNN 예측기를 개발한다.
• 픽셀 단위 유사도를 넘어 생성 품질을 평가하기 위한 분류기 기반 평가 프로토콜을 도입한다.

제안 방법

• 프레임을 겹치는 패치로 타일링하고 각 패치에 대한 어파인 변환을 추정하여 입력 프레임을 다음 프레임으로 워핑한다.
• 연속된 프레임 페어에서 얻은 과거의 어파인 변환들을 입력으로 받아 다음 어파인 변환 집합을 예측하는 CNN을 학습한다.
• 예측기를 시간에 따라 펼쳐 여러 미래 프레임을 예측하고 펼친 네트워크를 통해 역전파한다.
• 예측된 어파인 변환을 마지막으로 관찰된 프레임에 적용하고 겹치는 예측들을 평균하여 예측 프레임을 재구성한다.
• 생성물을 ground-truth 시퀀스에 대한 사전 학습된 분류기에 입력하여 판별 가능한 특징의 보존 정도를 측정하여 평가한다.

실험 결과

연구 질문

• RQ1 비디오의 모션을 이미지 패치에 적용된 지역 어파인 변환으로 효과적으로 모델링할 수 있는가?
• RQ2 패치 단위 어파인 변환 예측이 픽셀 기반 모델보다 적은 계산 비용으로 그럴듯한 미래 프레임을 생성할 수 있는가?
• RQ3 분류기 기반 평가 프로토콜이 생성된 비디오 시퀀스의 품질을 신뢰성 있게 반영하는가?
• RQ4 표준 벤치마크에서 변환 기반 접근법이 광학 흐름 및 적대적 훈련 픽셀 기반 모델과 어떻게 비교되는가?
• RQ5 예측기를 여러 단계에 걸쳐 펼치는 것이 다중 단계 예측의 견고성을 향상시키는가?

주요 결과

• 변환 공간 모델은 더 선명한 예측을 제공하고 비교 모델들보다 매개변수 수가 더 적게 필요하다.
• UCF-101에서 어파인 변환 접근법은 여러 설정에서 광학 흐름 기반 기준선 및 적대적 CNN보다 우수하게 작동하면서 계산량이 더 적게 든다.
• Ground-truth 어파인 변환을 사용하면 경쟁력 있는 성능을 얻어 패치 기반 어파인 분해를 검증한다.
• 풀어쓴 다단계 예측기가 탐욕적인 한 단계 예측기보다 우수하게 작동하여 오차 누적에 대한 강건성을 시사한다.
• 최고의 보고된 UCF-101 결과(4-frame 입력, 8-frame 예측)는 ground-truth 프레임에서 64.54%, 펼친 예측에서 57.88%를 보이고 여러 기준선을 앞선다.
• 이 접근법은 자연 영상에서 다음 프레임 예측을 위한 강력하고 확장 가능한 기반선을 제공한다.