[논문 리뷰] Learning Dynamic Generator Model by Alternating Back-Propagation Through Time

Jianwen Xie, Ruiqi Gao외 3명|arXiv (Cornell University)|2018. 12. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 23인용 수 6

한 줄 요약

이 논문은 비선형 신경망을 사용하여 시공간적 과정(예: 동적 무늬 및 동작)을 모델링하는 동적 생성자 모델을 제안한다. 이는 반복적으로 노이즈 벡터를 샘플링하고 기울기 상승을 통해 파라미터를 갱신함으로써 전이 및 생성자 네트워크를 함께 학습하는 교대적 시간에 따른 역전파(ABPTT) 알고리즘을 도입하여, GAN이나 VAE 추론 네트워크 없이도 현실적인 영상 생성을 달성한다.

ABSTRACT

This paper studies the dynamic generator model for spatial-temporal processes such as dynamic textures and action sequences in video data. In this model, each time frame of the video sequence is generated by a generator model, which is a non-linear transformation of a latent state vector, where the non-linear transformation is parametrized by a top-down neural network. The sequence of latent state vectors follows a non-linear auto-regressive model, where the state vector of the next frame is a non-linear transformation of the state vector of the current frame as well as an independent noise vector that provides randomness in the transition. The non-linear transformation of this transition model can be parametrized by a feedforward neural network. We show that this model can be learned by an alternating back-propagation through time algorithm that iteratively samples the noise vectors and updates the parameters in the transition model and the generator model. We show that our training method can learn realistic models for dynamic textures and action patterns.

연구 동기 및 목표

• 동적 무늬 및 인간 동작과 같은 시공간 영상 데이터를 위한 유연하고 비선형적인 생성 모델을 개발하기 위해.
• 복잡한 운동 패턴을 포착하는 데에 한계가 있는 선형 모델의 문제를 해결하기 위해 선형 사상 대신 딥 신경망을 도입하기 위해.
• 동적 영상 모델 훈련에 필요한 보조 네트워크(예: 판별자(GAN) 또는 추론 네트워크(VAE))를 제거하기 위해.
• 통합적이고 효율적인 최적화 프레임워크를 통해 전이 모델과 방출 모델을 종단 간(end-to-end)으로 학습하기 위해.
• 잠재 변수 추론을 사용하여 영상 복원 및 이미지에서 영상 생성 작업에서 모델의 능력을 입증하기 위해.

제안 방법

• 각 프레임이 잠재 상태 벡터에서 상향식 복소화 네트워크(생성자)를 통해 생성되는 비선형 상태공간 과정으로 영상 시퀀스를 모델링한다.
• 현재 상태와 독립적인 가우시안 노이즈 벡터의 비선형 변환으로 상태 전이를 정의하며, 이는 순방향 신경망에 의해 매개변수화된다.
• 교대적 시간에 따른 역전파(ABPTT)를 적용: 먼저 로그우도의 기울기를 사용하여 랭지에인 다이내믹스를 통해 잠재 노이즈 벡터를 추론하고, 그 다음 로그우도에 대한 기울기 상승을 통해 모델 파라미터를 갱신한다.
• 시간에 따른 역전파를 사용하여 관측된 영상 시퀀스에 대해 전이 모델(Fα)과 생성자 모델(Gβ)의 기울기를 계산한다.
• 초기 이미지 프레임을 콘텐츠 및 상태 벡터로 매핑하기 위한 인코더(Eγ)를 포함한 조건부 변형을 도입하여 이미지에서 영상 생성을 위해 사용한다.
• 인코더, 전이 모델, 생성자를 ABPTT를 통해 함께 최적화하는 공동 훈련 전략을 사용하여 종단 간 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경망 기반 전이 및 방출 함수를 갖는 비선형 동적 생성자 모델이 복잡한 시공간 영상 패턴을 효과적으로 모델링할 수 있는가?
• RQ2 ABPTT 알고리즘이 판별자나 추론 네트워크가 필요 없이도 그러한 모델을 효율적이고 효과적으로 훈련시킬 수 있는가?
• RQ3 잠재 변수 샘플링을 통한 잠재 노이즈 추론을 통해 모델이 누락된 콘텐츠를 효과적으로 복원할 수 있는가?
• RQ4 단일 정적 이미지 프레임에 조건을 주어 모델이 이미지에서 영상 생성에 일반화될 수 있는가?
• RQ5 교대적 시간에 따른 역전파 접근 방식이 GAN 또는 VAE 기반 대안 대비 더 안정적이고 현실적인 영상 생성을 이끌어낼 수 있는가?

주요 결과

• ABPTT 알고리즘이 실제 영상 데이터셋(동적 무늬 및 인간 동작 시퀀스 포함)에서 동적 생성자 모델을 성공적으로 훈련시켰다.
• 모델은 상태 전이와 이미지 생성 모두에서 복잡한 비선형 역학을 학습함으로써 현실적인 영상 시퀀스를 생성한다.
• 영상 복원 결과는 랭지에인 다이내믹스를 통해 잠재 노이즈 벡터를 추론함으로써 누락된 콘텐츠(예: 걷는 사람, 움직이는 보트)를 효과적으로 재구성할 수 있음을 보여준다.
• 이미지에서 영상 예측 실험 결과는 정적 이미지에서 일관된 시간적 변화를 보이는 타당한 운동 생성이 가능함을 입증하며, 생성된 시퀀스는 일관성 있는 시간적 흐름을 보였다.
• 모델는 적대적 훈련이나 복잡한 추론 네트워크에 의존하지 않음에도 불구하고 경쟁력 있는 성능을 달성하여 효율성과 단순성의 우수성을 입증하였다.
• 모델는 배경 복원 및 조건부 영상 합성과 같은 다양한 영상 생성 작업에 잘 일반화되며, 정성적 결과는 강력한 시각적 타당성을 보였다.