[논문 리뷰] Video Imagination from a Single Image with Transformation Generation

Baoyang Chen, Wenmin Wang외 2명|arXiv (Cornell University)|2017. 06. 13.

Advanced Image Processing Techniques참고 문헌 32인용 수 26

한 줄 요약

이 논문은 잠재 공간 내 전이 생성을 통해 시간적 운동을 모델링함으로써 단일 정적 이미지에서 다양하고 고품질의 가상 영상을 생성하는 종단간, 비지도 학습 프레임워크를 제안한다. 이 방법은 체적 병합 네트워크를 사용하여 변형된 입력 이미지에서 프레임을 재구성하기 위해 적대적 학습을 적용하여 합성 및 자연 영상 데이터셋에서 최신 기술 수준의 시각적 품질과 다양성을 달성한다.

ABSTRACT

In this work, we focus on a challenging task: synthesizing multiple imaginary videos given a single image. Major problems come from high dimensionality of pixel space and the ambiguity of potential motions. To overcome those problems, we propose a new framework that produce imaginary videos by transformation generation. The generated transformations are applied to the original image in a novel volumetric merge network to reconstruct frames in imaginary video. Through sampling different latent variables, our method can output different imaginary video samples. The framework is trained in an adversarial way with unsupervised learning. For evaluation, we propose a new assessment metric $RIQA$. In experiments, we test on 3 datasets varying from synthetic data to natural scene. Our framework achieves promising performance in image quality assessment. The visual inspection indicates that it can successfully generate diverse five-frame videos in acceptable perceptual quality.

연구 동기 및 목표

• 단일 정적 이미지에서 지도 학습이 불가능한 본질적 운동 모호성으로 인해 지도 데이터가 존재하지 않는 다채롭고 현실적인 가상 영상 생성 과제를 해결하기 위해.
• 화소 공간의 고차원성과 시간적 종속성 문제를 직접 화소를 다루는 대신 전이를 모델링하여 해결하기 위해.
• 라벨이 붙은 운동 데이터나 다중 입력 프레임이 필요 없는 완전히 비지도, 종단간 학습 프레임워크를 개발하기 위해.
• 장면 또는 해상도의 차이에 영향을 받지 않는 영상 재구성 품질을 공정하게 평가하기 위해 새로운 평가 지표인 RIQA를 도입하기 위해.
• 합성 및 자연 영상 데이터셋을 포함한 다양한 데이터셋에서 복잡한 운동을 포함한 복잡한 시나리오에 대해 프레임워크의 강건성과 우수성을 입증하기 위해.

제안 방법

• 프레임워크는 단일 입력 이미지와 잠재 변수에 조건을 부여한 변형 시퀀스를 생성하여, 화소 공간이 아닌 전이 공간에서 운동을 모델링한다.
• 변형된 이미지 특징과 학습된 체적 커널을 사용하여, 변형된 이미지 특징을 사용하여 각 프레임을 재구성하는 체적 병합 네트워크에 의해 전이가 적용된다.
• 공간적 및 시간적 일관성을 평가하는 비평가 네트워크를 사용하여 적대적 학습을 적용함으로써 현실적인 영상 생성을 유도한다.
• 잠재 변수를 통해 다양한 샘플링이 가능하여 동일한 입력 이미지에서 여러 개의 서로 다른 가상 영상 시퀀스를 생성한다.
• 이 방법은 K와 P로 매개변수화된 애핀 또는 컨volutional 전이를 사용하며, P는 단일 프레임을 재구성하기 위해 사용되는 전이의 시퀀스 길이이다.
• 장면과 해상도의 차이를 보정하기 위해 BRISQUE를 사용하여 입력에서 출력으로의 상대적 품질 저하를 계산하는 새로운 평가 지표인 RIQA(Relative Image Quality Assessment)를 도입한다.

실험 결과

연구 질문

• RQ1 지도 학습이 없는 조건에서 잠재 공간 내 전이 생성이 단일 이미지에서 다양하고 현실적인 영상 운동을 효과적으로 모델링할 수 있는가?
• RQ2 직접 화소 공간에서 생성하는 것과 비교해 전이 공간에서 운동을 모델링할 경우 시각적 품질과 시간적 일관성 측면에서 어떤 차이가 있는가?
• RQ3 공간-시간 비평가를 사용한 적대적 학습은 생성된 영상의 시각적 품질을 얼마나 향상시킬 수 있는가?
• RQ4 전이 유형, 시퀀스 길이(P) 및 매개변수 수(K)의 변화에 대해 프레임워크는 얼마나 강건한가?
• RQ5 지상 진실이 없는 조건에서 장면에 종속되지 않는 지표인 RIQA는 영상 상상 품질을 공정하게 평가할 수 있는가?

주요 결과

• 제안된 프레임워크는 K=6 및 P=5를 사용한 애핀 전이를 통해 UCF101 데이터셋에서 RIQA 점수 2.03%를 기록하여, 더 많은 사전 정보를 가진 기존 방법들을 능가한다.
• 정성적 결과에서는 프레임워크가 날카롭고 다양한, 시각적으로 현실적인 영상을 생성함을 보여주며, 파도치는 움직임이나 점프하는 동작과 같은 현실적인 운동 역학을 구현한다. 이는 실제 영상와는 다른 운동 방향을 가진 경우에도 성립한다.
• 정량적 및 정성적 평가에서 광학 흐름 기반 (Brox et al., 2004) 및 화소 재구성 기반 (Mathieu et al., 2015) 기준선 모두를 초월한다.
• 네 개의 입력 프레임을 사용하는 전이 기반 모델(van Amersfoort et al., 2017)은 제안된 단일 이미지 방법보다 더 흐릿한 결과를 내는 것으로 나타나, 제안된 아키텍처의 우수성을 입증한다.
• 프레임워크는 하이퍼파라미터 선택에 대해 강건하다: P=5인 애핀 전이가 최고의 성능(2.03% RIQA)을 보이며, 더 높은 P 또는 더 복잡한 컨volutional 전이를 사용할 경우 품질 저하가 증가한다(예: P=10일 경우 4.79%).
• 실패 사례로는 전이 후 빈 영역이 발생하여 애핀 모델에서 검은 화소 아티팩트가 발생하고, 컨볼루션 모델에서는 해상도가 낮은 객체 부분이 나타나는 것으로 나타나, 병합 네트워크 설계의 향상 여지가 있음을 시사한다.