[논문 리뷰] Learning to Generate Time-Lapse Videos Using Multi-Stage Dynamic Generative Adversarial Networks

Wei Xiong, Wenhan Luo외 3명|arXiv (Cornell University)|2017. 09. 22.

Advanced Image Processing Techniques참고 문헌 35인용 수 13

한 줄 요약

이 논문은 단일 입력 프레임에서 고해상도(최대 128×128) 타임랩스 영상을 생성하기 위한 이단계적 다단계 동적 생성 적대적 신경망(MD-GAN)을 제안한다. 첫 번째 단계는 콘텐츠가 풍부한 프레임을 생성하기 위해 3D U-Net 기반 생성기(Base-Net)를 사용하며, 두 번째 단계는 그람 행렬 모델링을 통한 적대적 순서 매기기 손실을 활용해 운동 역학을 향상시켜 기존 최고 수준의 모델보다 훨씬 더 현실적인 영상을 만들어낸다.

ABSTRACT

Taking a photo outside, can we predict the immediate future, e.g., how would the cloud move in the sky? We address this problem by presenting a generative adversarial network (GAN) based two-stage approach to generating realistic time-lapse videos of high resolution. Given the first frame, our model learns to generate long-term future frames. The first stage generates videos of realistic contents for each frame. The second stage refines the generated video from the first stage by enforcing it to be closer to real videos with regard to motion dynamics. To further encourage vivid motion in the final generated video, Gram matrix is employed to model the motion more precisely. We build a large scale time-lapse dataset, and test our approach on this new dataset. Using our model, we are able to generate realistic videos of up to $128 imes 128$ resolution for 32 frames. Quantitative and qualitative experiment results have demonstrated the superiority of our model over the state-of-the-art models.

연구 동기 및 목표

• 단일 정적 이미지에서 장기적인 미래 영상 프레임을 현실적으로 생성하는 문제를 해결하기 위해.
• 오류 누적이나 세부 사항 보존 부족으로 인해 발생하는 흐릿한 콘텐츠 또는 비현실적인 운동을 유발하는 기존 모델의 한계를 극복하기 위해.
• 콘텐츠와 운동 모델링을 분리함으로써 이중 단계적 접근을 통해 성능 향상을 이루기 위해.
• 미래 영상 예측 모델의 훈련 및 평가를 위해 대규모 타임랩스 영상 데이터셋(Sky Scene)을 구축하기 위해.
• 3D U-Net과 운동 인식 적대적 훈련을 조합하여 고해상도, 시간적으로 일관되며 시각적으로 현실적인 영상 생성을 달성하기 위해.

제안 방법

• 첫 번째 단계는 스킵 연결을 통해 공간적 및 시간적 특징를 보존하는 3D U-Net 유사 생성기인 Base-Net을 활용하여 정보 손실를 줄이고 생성된 프레임의 콘텐츠 세부 정보를 향상시킨다.
• Base-Net은 생성기와 판별기 양쪽 모두에 3D 합성곱 및 역합성곱 레이어를 사용하여 시공간 패턴을 모델링하고, 현실적인 영상 분포를 보장하기 위해 적대적 훈련을 강제한다.
• 두 번째 단계는 Base-Net의 출력을 입력으로 받아, 생성된 영상이 입력보다 더 현실적이면서도 운동 역학에서는 입력과 덜 유사하도록 만드는 데 목적이 있는 적대적 순서 매기기 손실을 적용하는 Refine-Net을 도입한다.
• 적대적 순서 매기기 손실은 연속된 프레임의 특징 맵에서 그람 행렬을 사용하여 운동 역학을 정밀하게 모델링하고, 현실적인 시간적 변환을 장려한다.
• 이 모델은 다양한 시점(낮, 해질 무렵, 별이 빛나는 하늘, Northern Lights 등)을 포함하는 대규모 타임랩스 데이터셋(Sky Scene)에서 훈련된다.
• 이 프레임워크는 타임랩스 및 비타임랩스 데이터셋(Beach 및 Golf) 모두에서 평가되어 다양한 영상 맥락에서의 일반화 능력과 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 이중 단계 GAN 아키텍처가 콘텐츠 생성과 운동 보정을 효과적으로 분리하여 장기적인 영상 예측의 현실성 향상에 기여할 수 있는가?
• RQ2 3D U-Net과 스킵 연결을 도입함으로써 기존의 순수 인코더-디코더 아키텍처에 비해 영상 생성에서 콘텐츠 세부 정보 보존이 어떻게 향상되는가?
• RQ3 그람 행렬 기반의 운동 모델링이 생성된 영상의 운동 역학의 생생함과 현실성에 얼마나 기여하는가?
• RQ4 제안된 MD-GAN 모델이 다양한 영상 장면에서 정량적 지표와 정성적 평가 모두에서 기존 최고 수준의 모델을 뛰어넘는가?
• RQ5 모델은 Beach 및 Golf 데이터셋과 같은 비타임랩스 영상 예측 작업에도 일반화 가능한가?

주요 결과

• Refine-Net 단계는 생성된 영상의 정성적 품질을 향상시켰으며, 이중 비교 평가에서 70%의 평가자가 Refine-Net 출력을 Base-Net 출력보다 선호했다.
• Beach 데이터셋에서 MD-GAN은 MSE 0.0422, PSNR 16.1951, SSIM 0.8019를 기록하여 VGAN과 RNN-GAN을 뛰어넘는 성능을 보였다.
• Golf 데이터셋에서 MD-GAN은 MSE 0.0681, PSNR 13.7870, SSIM 0.7085를 기록하여 다양한 영상 유형에서 뛰어난 성능을 보였다.
• 정성적 결과에서는 Refine-Net이 더 생생한 운동 역학을 생성하며, 인접한 프레임 간의 명확한 차이를 보였고, 고해상도의 콘텐츠 세부 정보도 유지했다.
• 모델은 128×128 해상도에서 32프레임의 현실적인 영상을 생성하며, 많은 경우에서 실제 타임랩스 영상과 구별하기 어려운 시각적 품질을 제공한다.
• 인간 평가 결과, 16%의 평가자가 Refine-Net 출력을 실제 영상보다 선호했으며, 이는 높은 정성적 현실성을 의미한다. 반면, Base-Net 출력을 실제 영상보다 선호한 비율은 8%에 불과했다.