[논문 리뷰] Generative Video Transformer: Can Objects be the Words?

Yifu Wu, Jaesik Yoon외 1명|arXiv (Cornell University)|2021. 07. 20.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 물체를 시각적 토큰으로 간주하여 효율적인 장기적 비디오 생성과 추론을 가능하게 하는 완전히 비지도 학습 기반의 생성적 비디오 모델인 Object-Centric Video Transformer (OCVT)을 제안한다. 이중 매칭과 자동회귀형 트랜스포머를 활용함으로써 OCVT는 CATER 스니치 탐지 작업에서 최고 성능을 기록하고, 복잡한 시공간 역동성을 가진 고품질의 미래 프레임을 생성한다.

ABSTRACT

Transformers have been successful for many natural language processing tasks. However, applying transformers to the video domain for tasks such as long-term video generation and scene understanding has remained elusive due to the high computational complexity and the lack of natural tokenization. In this paper, we propose the Object-Centric Video Transformer (OCVT) which utilizes an object-centric approach for decomposing scenes into tokens suitable for use in a generative video transformer. By factoring the video into objects, our fully unsupervised model is able to learn complex spatio-temporal dynamics of multiple interacting objects in a scene and generate future frames of the video. Our model is also significantly more memory-efficient than pixel-based models and thus able to train on videos of length up to 70 frames with a single 48GB GPU. We compare our model with previous RNN-based approaches as well as other possible video transformer baselines. We demonstrate OCVT performs well when compared to baselines in generating future frames. OCVT also develops useful representations for video reasoning, achieving start-of-the-art performance on the CATER task.

연구 동기 및 목표

• 비디오 트랜스포머에서 높은 계산 비용과 자연스러운 토큰화 부족 문제를 해결하기 위해 물체 중심 접근 방식을 도입한다.
• 시간에 따라 물체 간 상호작용을 모델링하여 효과적인 장기적 비디오 생성과 추론을 가능하게 한다.
• 물체 수준의 애너테이션 없이도 분리되고 구조화된 비디오 장면 표현을 학습한다.
• 물체가 비디오 트랜스포머 아키텍처에서 의미 있는 '단어' 역할을 할 수 있음을 보여준다.
• CATER와 같은 비디오 이해 작업을 포함한 비디오 생성 및 후속 작업에서 뛰어난 성능을 달성한다.

제안 방법

• 물체 수준의 특징(위치, 크기, 외관 포함)을 추출하기 위해 물체 중심 잠재 표현 모델(SPACE)을 사용한다.
• 연속 프레임 간의 물체 집합 간 이중 매칭을 적용하여 시간에 따른 물체를 정렬하고 시간 모델링을 가능하게 한다.
• 각 물체를 이산 토큰으로 간주하고, 물체 토큰에 대해 자동회귀형 다음 프레임 예측 목표를 사용해 트랜스포머를 훈련한다.
• 스니치 탐지와 같은 후속 분류 작업을 위해 모든 물체 토큰에 접근할 수 있도록 CLS 토큰을 도입한다.
• 표현 품질 향상을 위해 물체 수준 복원 및 시간 일관성 기반의 대비 손실을 도입한다.
• 픽셀 기반 트랜스포머에 비해 메모리 사용을 크게 줄여, 단일 48GB GPU로 70프레임 비디오를 훈련한다.

실험 결과

연구 질문

• RQ1 장기적 생성을 위해 비디오 트랜스포머 내에서 물체가 효과적인 시각적 토큰으로 기능할 수 있는가?
• RQ2 픽셀 수준 또는 RNN 기반 방법에 비해 물체 중심 표현 학습이 비디오 생성과 추론에 어떻게 향상되는가?
• RQ3 완전히 비지도 학습 기반의 물체 중심 모델이 비디오 역동성의 장기적 의존성을 어느 정도 학습할 수 있는가?
• RQ4 학습된 물체 표현이 시간적 추론이 필요한 후속 비디오 이해 작업에 일반화될 수 있는가?
• RQ5 품질과 효율성 측면에서 자동회귀형 물체 수준 생성은 종래의 엔드 투 엔드 픽셀 수준 생성에 비해 어떻게 비교되는가?

주요 결과

• 보조 손실 없이도 OCVT는 CATER 스니치 탐지 작업에서 최고 성능을 기록하여 Top 1 정확도 76.0%와 Top 5 정확도 94.4%를 달성한다.
• 위치 예측을 위한 추가 L1 손실을 적용한 OCVT는 L1 거리 0.39를 기록하여 Hopper 및 OPNet과 같은 이전 방법들을 모두 능가한다.
• 특히 색상 변화와 같은 장기적 역동성을 포함한 장기적 동역학에서, OCVT는 RNN 기반 베이스라인(LSTM+GNN 등)과 다른 비디오 트랜스포머 베이스라인보다 우수한 성능을 보였다.
• 지연 후 상호작용을 하는 물체가 있는 복잡한 장기적 의존성이 있는 시나리오에서도 OCVT는 고품질의 미래 프레임을 생성할 수 있다.
• 픽셀 기반 트랜스포머에 비해 메모리 사용을 크게 줄여, 단일 48GB GPU로 70프레임 비디오 훈련이 가능해졌다.
• 자기회귀형 물체 수준 생성(OCVT-AR)은 RNN 기반 베이스라인보다 성능 향상을 보였지만, 전체 OCVT에 비해 떨어지는 성능을 보여, 전체 자기주도 어텐션의 이점이 자동회귀 오류 누적보다 유리함을 시사한다.