[논문 리뷰] From Here to There: Video Inbetweening Using Direct 3D Convolutions

Yunpeng Li, Dominik Roblek외 1명|arXiv (Cornell University)|2019. 05. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 53인용 수 20

한 줄 요약

이 논문은 순환 요소 없이 두 키프레임 사이의 다양하고 고품질의 중간 프레임을 생성하는 완전 컨volution형, 엔드 투 엔드 3D 컨볼루션 네트워크를 제안한다. 渐진적 시간 해상도 확장을 통해 확률적 잠재 영상 표현을 학습하고, 역전치 3D 컨볼루션을 통해 복원함으로써, 기준 데이터셋에서 최신 기술 수준의 성능을 달성하며, RNN 기반 및 광학 흐름 방법보다 뛰어나며, 특히 장시간 시퀀스와 UCF101과 같은 도전적인 데이터셋에서 뛰어난 성능을 보인다.

ABSTRACT

We consider the problem of generating plausible and diverse video sequences, when we are only given a start and an end frame. This task is also known as inbetweening, and it belongs to the broader area of stochastic video generation, which is generally approached by means of recurrent neural networks (RNN). In this paper, we propose instead a fully convolutional model to generate video sequences directly in the pixel domain. We first obtain a latent video representation using a stochastic fusion mechanism that learns how to incorporate information from the start and end frames. Our model learns to produce such latent representation by progressively increasing the temporal resolution, and then decode in the spatiotemporal domain using 3D convolutions. The model is trained end-to-end by minimizing an adversarial loss. Experiments on several widely-used benchmark datasets show that it is able to generate meaningful and diverse in-between video sequences, according to both quantitative and qualitative evaluations.

연구 동기 및 목표

• 순환 신경망에 의존하지 않고 두 키프레임 사이에 타당한 중간 프레임을 생성하는 영상 인터폴레이션 문제를 해결하기 위해.
• 직접 3D 컨볼루션을 사용하는 완전 컨볼루션 아키텍처가 영상 생성에서 장거리 시간적 의존성을 효과적으로 모델링할 수 있는지 탐색하기 위해.
• 잠재 표현 학습과 영상 복원을 분리함으로써 샘플 다양성과 영상 품질을 향상시키기 위해.
• 무상태이며 엔드 투 엔드로 학습 가능한 모델이 기존 RNN 기반 및 광학 흐름 기반 방법보다 장시간 인터폴레이션 작업에서 승리할 수 있음을 입증하기 위해.

제안 방법

• 모델은 입력 시작 키프레임과 종료 키프레임을 공통 잠재 공간으로 매핑하기 위해 2D 컨볼루션 인코더를 사용한다.
• 3D 컨볼루션 잠재 표현 생성기가 시간 해상도를 점진적으로 증가시키면서, 게이팅 메커니즘을 통해 인코딩된 키프레임에서 정보를 확률적으로 융합한다.
• 잠재 표현은 역전치 3D 컨볼루션을 사용하여 영상 프레임으로 복원되어 최종 영상 시퀀스를 생성한다.
• 모델은 현실감과 시간적 일관성을 향상시키기 위해 생성적 적대적 손실을 사용하여 엔드 투 엔드로 학습된다.
• 생성 과정에서 스트로스틱 노이즈 벡터를 주입하여 동일한 입력 키프레임으로부터 다양한 영상 시퀀스를 생성한다.
• 아키텍처는 순환 구조를 완전히 회피함으로써 더 깊은 네트워크와 더 안정적이고 병렬화 가능한 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 순환 없이 완전 컨볼루션 모델이 인터폴레이션을 위해 다양하고 현실적인 영상 시퀀스를 효과적으로 생성할 수 있는가?
• RQ2 잠재 표현 학습과 영상 복원을 분리함으로써 영상 인터폴레이션 작업의 성능 향상이 가능한가?
• RQ3 직접 3D 컨볼루션은 장시간 중간 영상 시퀀스 생성에서 RNN 기반 모델을 능가할 수 있는가?
• RQ4 확률적 융합 메커니즘이 인터폴레이션에서 샘플 다양성과 영상 품질에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 다양한 복잡도와 시간 범위를 가진 다양한 데이터셋에 대해 강건한가?

주요 결과

• BAIR 데이터셋에서 모델은 장시간 인터폴레이션에 대해 346.1의 Fréchet Video Distance (FVD)를 달성하여 이전 방법들을 능가한다.
• UCF101 데이터셋에서 14개의 생성된 중간 프레임에 대해 SSIM이 0.686 [0.680, 0.693]을 기록하여 더 긴 시간 베이스에도 불구하고 RNN 기반 및 광학 흐름 방법을 능가한다.
• FVD 임베딩 공간에서 평균 쌍별余kosine 거리로 측정한 샘플 다양성은 융합으로 인해 크게 증가했으며, BAIR에서는 0.051에서 0.071로, KTH에서는 0.006에서 0.013으로, UCF101에서는 0.121에서 0.131로 증가했다.
• 제거 실험 결과, 인코딩된 키프레임에서 직접 생성하는 것은 성능이 열악하여 전용 잠재 표현 생성기의 필요성을 입증한다.
• 정성적 결과에서는 100개의 스트로스틱 샘플을 평균화함으로써 운동 경로(예: 로봇 팔)에 명확한 확산 현상이 나타나 높은 다양성을 확인할 수 있었다.
• 키프레임 간 거리가 0.5초가 넘는 경우에도 의미 있고 다양한 영상 시퀀스를 성공적으로 생성하여 장시간 간격에 대한 강건성을 입증했다.