[논문 리뷰] Synthesizing Dynamic Patterns by Spatial-Temporal Generative ConvNet

Jianwen Xie, Song‐Chun Zhu외 1명|arXiv (Cornell University)|2016. 06. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 26인용 수 9

한 줄 요약

이 논문은 3D 공간-시간 필터를 갖춘 깊이 있는 에너지 기반 모델을 사용하여 동적 텍스처와 동작과 같은 동적 영상 패턴을 모델링하고 합성하는 공간-시간 생성형 ConvNet을 제안한다. 이 방법은 랑주앙 다이내믹스 샘플링을 활용한 '분석을 통한 합성' 학습 체계를 사용하여, 가림이나 프레임 누락이 있는 부분적인 영상 데이터로부터도 동시에 현실적인 합성과 학습을 가능하게 한다.

ABSTRACT

Video sequences contain rich dynamic patterns, such as dynamic texture patterns that exhibit stationarity in the temporal domain, and action patterns that are non-stationary in either spatial or temporal domain. We show that a spatial-temporal generative ConvNet can be used to model and synthesize dynamic patterns. The model defines a probability distribution on the video sequence, and the log probability is defined by a spatial-temporal ConvNet that consists of multiple layers of spatial-temporal filters to capture spatial-temporal patterns of different scales. The model can be learned from the training video sequences by an "analysis by synthesis" learning algorithm that iterates the following two steps. Step 1 synthesizes video sequences from the currently learned model. Step 2 then updates the model parameters based on the difference between the synthesized video sequences and the observed training sequences. We show that the learning algorithm can synthesize realistic dynamic patterns.

연구 동기 및 목표

• 영상 내 복잡한 동적 패턴, 특히 정적 텍스처와 비정적 동작을 합성할 수 있는 깊이 있는 생성 모델을 개발하는 것.
• 다중 척도 패턴 캡처를 위해 3D 공간-시간 필터를 통합함으로써 공간 생성형 ConvNet을 시간 영역으로 확장하는 것.
• 관측되지 않은 픽셀이나 누락된 프레임이 있는 부분적인 영상 시퀀스에서 끝내기 학습을 가능하게 하며, 同시에 패턴 복원을 수행하는 것.
• 시작 프레임이 필요로 하지 않는 조건에서 움직이는 물체를 제거하고 배경을 재구성함으로써 영상 복원 능력을 입증하는 것.

제안 방법

• 모델은 깊이 있는 공간-시간 ConvNet(다중 층의 3D 필터와 ReLU 비선형성 포함)로 파arameter화된 에너지 기반 공식을 사용하여 영상 시퀀스에 대한 확률 분포를 정의한다.
• 생성 모델은 랑주앙 다이내믹스를 통해 샘플링되며, 이는 학습된 분포에서 현실적인 샘플을 생성하기 위해 영상 시퀀스의 픽셀 강도를 반복적으로 갱신한다.
• 학습은 '분석을 통한 합성' 알고리즘을 통해 수행되며, 먼저 현재 모델 파rameter를 사용해 영상 시퀀스를 합성하고, 그 다음에 합성된 결과와 관측된 학습 데이터 간의 차이를 기반으로 파rameter를 갱신한다.
• 모델은 관측된 데이터의 로그우도를 기반으로 확률적 경사하강법을 사용하여 훈련되며, 목표는 모델의 밀도를 실제 데이터 분포 쪽으로 이동시키는 것이다.
• 다중 척도 추론을 지원하며, 생성 네트워크와의 협동 훈련을 통해 가속화가 가능하지만, 핵심 실험에서는 이를 사용하지 않는다.
• 영상 복원 및 복구를 위해 알고리즘은 관측된(가림되지 않은) 픽셀에 조건을 두고 MCMC 샘플링을 수행하여, 현실적인 공간-시간 패치를 생성함으로써 누락된 영역이나 프레임을 효과적으로 복원한다.

실험 결과

연구 질문

• RQ1 3D 공간-시간 필터를 갖춘 깊이 있는 생성형 ConvNet은 동적 텍스처와 동작과 같은 현실적인 동적 영상 패턴을 효과적으로 모델링하고 합성할 수 있는가?
• RQ2 제안된 모델은 누락된 프레임이나 가림된 픽셀이 있는 부분적인 영상 시퀀스에서 학습하면서 동시에 패턴 복원을 수행할 수 있는가?
• RQ3 '분석을 통한 합성' 학습 체계와 랑주앙 다이내믹스를 사용하면 인과적 또는 순차적 구조가 필요 없이 고품질의 영상 합성과 재구성을 가능하게 하는가?
• RQ4 전통적인 마르코프 무작위 필드 모델에 비해 공간-시간 생성형 ConvNet의 영상 복원 및 복구 작업에서의 성능은 어떠한가?
• RQ5 보조 결과에 따르면, 영상 외의 동적 신호 유형(예: 음성 패턴)으로도 일반화 가능한가?

주요 결과

• 공간-시간 생성형 ConvNet은 정적 텍스처와 비정적 동작을 포함한 현실적인 동적 패턴을 성공적으로 합성하여, 복잡한 시공간 역학을 포착하는 데 모델의 유연성을 입증한다.
• MRF 기반 모델 대비 가림된 영상 시퀀스에서 뛰어난 영상 복원 성능을 달성한다: 50% 소금-후추 노이즈 가림 상황에서 MRF-ℓ₂에 비해 평균 PSNR 향상 8.28 dB, MRF-ℓ₁에 비해 6.36 dB 향상.
• 단일 영역 가림 상황에서 평균 복원 오차는 5.4348(0~255 강도 척도 기준)이며, MRF-ℓ₂(13.5101)와 MRF-ℓ₁(13.3364)보다 우수한 성능을 보였다.
• 50% 프레임 누락 상황에서 평균 복원 오차는 6.7285로, MRF-ℓ₂(15.0085)와 MRF-ℓ₁(13.7746)보다 유의미하게 낮아, 강력한 시간적 일관성 학습 능력을 보였다.
• 모델은 효과적인 배경 복원을 가능하게 하여, 보트나 보행자와 같은 움직이는 물체를 제거하고 현실적인 장면 내용을 재구성하는 데 성공했으며, 실제 영상 시퀀스에 대한 정성적 결과에서 이를 입증했다.
• 이 방법은 비인과적이며 시작 프레임이 필요로 하지 않아, RNN 기반 접근 방식에 비해 다중 시간 척도에서 더 유연하고 직접적인 시간 패턴 모델링이 가능하다.