[논문 리뷰] Image2GIF: Generating Cinemagraphs using Recurrent Deep Q-Networks

Yipin Zhou, Yale Song외 1명|arXiv (Cornell University)|2018. 01. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 3

한 줄 요약

이 논문은 단일 정적 이미지에서 시네그래프를 자동으로 생성하기 위해 순환 생성 모델을 딥 Q넷(DQN)으로 강화한 모델을 제안한다. 이 모델은 애니메이션을 적용할 위치(지역화)와 어떻게 애니메이션을 구현할지(운동 생성)를 동시에 학습한다. 기존의 기준 모델 대비 뛰어난 시각적 품질과 현실감을 달성하였으며, 인간 평가 결과에서 RNN+DQN은 합성 및 실제 데이터셋 모두에서 인식된 현실감과 선호도에서 다른 방법들을 압도한다.

ABSTRACT

Given a still photograph, one can imagine how dynamic objects might move against a static background. This idea has been actualized in the form of cinemagraphs, where the motion of particular objects within a still image is repeated, giving the viewer a sense of animation. In this paper, we learn computational models that can generate cinemagraph sequences automatically given a single image. To generate cinemagraphs, we explore combining generative models with a recurrent neural network and deep Q-networks to enhance the power of sequence generation. To enable and evaluate these models we make use of two datasets, one synthetically generated and the other containing real video generated cinemagraphs. Both qualitative and quantitative evaluations demonstrate the effectiveness of our models on the synthetic and real datasets.

연구 동기 및 목표

• 단일 정적 이미지에서 시네그래프를 자동으로 생성하여 애니메이션 GIF 제작에 필요한 수동 작업을 줄이는 것.
• 장면 내에서 움직일 수 있는 객체들과 그들의 움직임 방식을 학습하여 정적 입력에서 동적 의미를 포착하는 것.
• 시간적 모델링과 강화 학습을 결합한 생성 모델을 개발하여 개선된 운동 시퀀스 생성을 위한 것.
• 합성 및 실제 세계의 시네그래프 데이터셋 모두에서 모델을 평가하여 강건한 비교를 가능하게 하는 것.

제안 방법

• 모델는 단일 입력 이미지에서 시퀀스 프레임을 인코딩하고 생성하기 위해 변동형 오토인코더를 갖춘 순환 신경망(RNN)을 사용한다.
• 딥 Q넷(DQN)은 시간에 따라 어떤 이미지 영역을 애니메이션할지, 그리고 어떻게 애니메이션할지 결정하는 데 있어 확률적 의사결정을 지도한다.
• 생성 모델은 시각적 현실감과 구조적 일관성을 향상시키기 위해 적대적 손실과 재구성 손실의 조합을 사용하여 훈련된다.
• 순환 아키텍처는 이전에 생성된 프레임에 조건을 두어 시간적으로 일관된 시퀀스를 생성할 수 있도록 한다.
• 모델는 합성된 운동이 제어된 데이터셋과 인터넷에서 캡처한 실제 시네그래프로 구성된 실제 세계 데이터셋에서 훈련 및 평가된다.
• 운동 지역화 정확도 평가를 위해 세그멘테이션 맵을 사용하며, 예측된 움직이는 객체 중심과 진짜 중심을 비교한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 단일 정적 이미지에서 시간적으로 일관된 시네그래프 시퀀스를 자동으로 생성할 수 있는가?
• RQ2 모델는 정적 이미지 내에서 움직이는 객체를 얼마나 정확히 지역화하고, 그에 적합한 운동 시퀀스를 얼마나 자연스럽게 생성할 수 있는가?
• RQ3 딥 Q넷을 통합함으로써 생성된 시네그래프의 품질과 현실감이 기준 모델 대비 얼마나 향상되는가?
• RQ4 합성 데이터셋(진짜 운동이 알려진 데이터)과 실제 세계의 시네그래프에서 모델은 어떻게 성능을 발휘하는가?
• RQ5 인간 평가자들은 생성된 시네그래프를 실제 시네그래프와 구별할 수 있으며, 이 모델은 이전의 작업들 대비 인식된 현실감에서 얼마나 뛰어나게 되는가?

주요 결과

• qualitative 비교에서 RNN+DQN 모델은 이중 비교에서 63.3%의 참가자가 가장 우수한 시네그래프로 선택하여 가장 높은 인간 선호도를 기록했다.
• 모델는 인간 관찰자가 생성된 시네그래프를 실제로 찍은 것으로 오인할 확률이 60.0%였으며, 이는 기준 방법보다 유의미하게 높은 성능을 보였다.
• 합성 데이터셋에서 RNN+DQN 모델은 기준 대비 예측된 객체 중심과 진짜 중심 간 평균 유클리드 거리를 28.7% 감소시켜 더 나은 운동 지역화 성능을 입증했다.
• 제거 실험 결과, 작은 버블넥(지름 z)과 Q벡터 크기 사용 시 정보 손실와 과다 양자화로 인해 성능이 심각하게 악화됨을 확인했다.
• 일관된 기준(첫 프레임을 그대로 복사)은 화소 수준의 차이 이미지에서 PSNR/SSIM이 0이었지만, RNN+DQN은 비영점 점수를 기록하여 동적 운동 생성 능력을 확인했다.
• 모델는 하이퍼파라미터 선택에 대해 강건했으며, 합성 데이터에서는 64차원의 z, 실제 데이터에서는 512차원의 Q벡터에서 최적 성능를 기록했다.