[논문 리뷰] Synthesizing Dynamic Textures and Sounds by Spatial-Temporal Generative ConvNet.

Jianwen Xie, Song‐Chun Zhu외 1명|arXiv (Cornell University)|2016. 06. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 4

한 줄 요약

이 논문은 비디오와 오디오에서의 확률적 반복성과 같은 동적 무늬와 소리를 모델링하기 위해 다층 공간-시간 필터를 사용하는 공간-시간 생성 합성곱 네트워크를 제안한다. 모델은 현실적인 동적 무늬와 자연/인간이 만든 소리를 성공적으로 합성하여 시각적 및 听각적 영역 모두에서 효과성을 입증한다.

ABSTRACT

Dynamic textures are spatial-temporal processes that exhibit statistical stationarity or stochastic repetitiveness in the temporal dimension. In this paper, we study the problem of modeling and synthesizing dynamic textures using a generative version of the convolution neural network (ConvNet or CNN) that consists of multiple layers of spatial-temporal filters to capture the spatial-temporal patterns in the dynamic textures. We show that such spatial-temporal generative ConvNet can synthesize realistic dynamic textures. We also apply the temporal generative ConvNet to the one-dimensional sound data, and show that the model can synthesize realistic natural and man-made sounds. The videos and sounds can be found at this http URL

연구 동기 및 목표

• 통계적 정상성을 갖는 동적 무늬를 공간-시간 과정으로 모델링하기 위해.
• 복잡한 시공간 패턴을 포착할 수 있는 생성 합성곱 네트워크 아키텍처를 개발하기 위해.
• 실제 음향 합성을 위해 1차원 음성 데이터로 확장된 생성 모델을 개발하기 위해.
• 모델이 인지적으로 현실적인 비디오 및 음성 시퀀스를 생성할 수 있는 능력을 입증하기 위해.

제안 방법

• 모델은 계층적인 시공간 표현을 학습하기 위해 다층 공간-시간 필터를 갖춘 딥 합성곱 네트워크를 사용한다.
• 동적 무늬의 공동 시공간 통계를 모델링하기 위해 컨볼루션 신경망 기반의 생성적 접근을 사용한다.
• 필터 차원을 수정하여 시간적 시퀀스에서 작동하도록 함으로써, 1차원 음성 데이터에 대한 아키텍처를 적응시켰다.
• 입력 시퀀스를 재구성하도록 훈련시켜, 학습된 분포에서 샘플링을 통해 새로운 현실적인 샘플을 생성할 수 있도록 했다.
• 공간-시간 필터는 백프로파게이션을 사용하여 엔드 투 엔드로 학습되며, 공간적 및 시간적 종속성을 모두 포착한다.
• 생성 과정은 자동상관 또는 잠재 변수 샘플링을 통해 학습된 특징에서 장기 시퀀스를 생성한다.

실험 결과

연구 질문

• RQ1 생성 합성곱 네트워크는 통계적 정상성을 갖는 동적 무늬를 효과적으로 모델링하고 합성할 수 있는가?
• RQ2 동일한 아키텍처는 현실적인 소리 합성을 위해 1차원 음성 신호로 얼마나 잘 일반화되는가?
• RQ3 이 공간-시간 생성 접근법을 통해 합성된 비디오와 소리에서 인지적 현실감은 어느 정도 달성되는가?
• RQ4 공간-시간 필터는 동적 무늬의 반복적이고 확률적인 패턴을 포착하는 데 어떻게 기여하는가?

주요 결과

• 제안된 공간-시간 생성 합성곱 네트워크는 시공간 패턴을 포착하여 현실적인 동적 무늬를 성공적으로 합성한다.
• 모델은 1차원 음성 데이터로 효과적으로 일반화되어 자연적이고 인위적인 소리를 현실적으로 생성한다.
• 시각적 및 청각적 평가를 통해 합성된 비디오 및 음성 시퀀스는 인지적으로 설득력 있다.
• 다층 공간-시간 필터의 사용은 동적 과정의 계층적 표현을 학습하는 데 기여한다.
• 학습된 시간 동적 특징을 통해 장기 시퀀스 생성에 있어 모델의 강건성을 입증한다.
• 결과는 딥 생성 합성곱 네트워크가 영상 및 음성 영역에서 복잡한 시공간 과정을 모델링하는 데 효과적이라는 것을 시사한다.