[논문 리뷰] Synthesising Dynamic Textures using Convolutional Neural Networks

Christina M. Funke, Leon A. Gatys외 2명|arXiv (Cornell University)|2017. 02. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 11인용 수 13

한 줄 요약

이 논문은 사전 훈련된 컨volution 신경망(CNN)에서 유도된 시공간 요약 통계를 사용하여 동적 텍스처를 합성하기 위한 파arametric 모델을 제안한다. 기존 정적 텍스처 합성에서 사용하는 그람 행렬 기법을 다중 프레임 간의 시간적 상관관계를 포함하도록 확장함으로써, 재학습 없이도 현실적인 동적 텍스처를 생성할 수 있으며, 단 두 프레임만으로도 다양하고 일관된 운동을 생성하지만, 전반적인 일관성 있고 구조적인 운동에는 어려움을 겪는다.

ABSTRACT

Here we present a parametric model for dynamic textures. The model is based on spatiotemporal summary statistics computed from the feature representations of a Convolutional Neural Network (CNN) trained on object recognition. We demonstrate how the model can be used to synthesise new samples of dynamic textures and to predict motion in simple movies.

연구 동기 및 목표

• 각 텍스처에 대해 새로운 네트워크를 훈련할 필요 없이 일반화 가능하고 파rameter 효율적인 동적 텍스처 합성 모델을 개발하는 것.
• 사전 훈련된 CNN의 시공간 통계가 영상 텍스처 내 복잡한 운동 패턴을 포괄할 수 있는지 탐구하는 것.
• 합성 가능한 장기적인 동적 텍스처를 생성하기 위해 필요한 최소한의 시간적 맥락(예: 두 프레임)을 규명하는 것.
• 생성된 영상에서 운동 일관성과 구조적 운동 동역학을 유지할 수 있는지 평가하는 것.
• 기존의 CNN 기반 동적 텍스처 생성 방법과의 성능 비교

제안 방법

• 모델은 사전 훈련된 CNN(VGG-19)에서 Δt개의 연속된 프레임의 특징 맵을 연결하여 큰 특징 행렬을 형성하고, 이를 통해 시공간 그람 행렬을 계산한다.
• 이 연결된 행렬에서 단일 그람 행렬을 계산하여 최대 Δt 순서까지의 공간적 및 시간적 상관관계를 인코딩한다.
• 최종 모델은 입력 영상 전반에 걸쳐 가능한 모든 시간 창 크기 Δt에 대해 평균화된 그람 행렬을 사용하여 시공간 통계를 캡처한다.
• 새로운 프레임는 흰 잡음에서 시작하여 손실 함수를 최소화하는 기반으로 기울기 기반 최적화를 통해 생성된다.
• 손실 함수는 생성된 프레임의 시공간 특징 통계가 원본 영상에서 추출된 통계와 유사하도록 강제한다.
• 모델은 초기 프레임를 무작위로 초기화하거나 원본 영상의 실제 프레임을 사용하여 초기화할 수 있어 영상 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN의 특징 맵에서 유도된 시공간 통계가 재학습 없이도 동적 텍스처를 효과적으로 모델링할 수 있는가?
• RQ2 합성 가능한 장기적인 동적 텍스처를 생성하기 위해 필요한 최소한의 프레임 수는 얼마인가?
• RQ3 예를 들어 흔들리는 나뭇가지처럼 구조적인 동적 텍스처에서 전체 운동의 일관성을 얼마나 잘 유지할 수 있는가?
• RQ4 시간 창 크기 Δt를 증가시킬 경우 생성된 텍스처의 현실성과 다양성에 어떤 영향을 미치는가?
• RQ5 원본 영상의 실제 프레임을 초기화로 사용할 경우, 모델이 영상 시퀀스의 향후 프레임을 예측할 수 있는가?

주요 결과

• 모델은 단 두 개의 초기 프레임만으로도 다양하고 시각적으로 타당한 동적 텍스처를 성공적으로 생성하여, 최소한의 시간적 맥락만으로도 일관된 운동 합성을 위한 충분한 정보를 제공할 수 있음을 보여준다.
• 42개의 프레임으로 훈련한 경우, 두 프레임으로 생성한 텍스처에 비해 엔트로피가 낮고 시각적 품질이 뛰어나 안정성과 현실성이 향상됨을 확인하였다.
• 흔들리는 나뭇가지처럼 구조적인 운동의 경우, Δt를 2에서 4로 증가시킴으로써 포괄하는 운동 범위가 넓어졌지만, 모든 잎이 동시에 움직이는 전역 일관성을 재현하지 못했다.
• 반복적으로 프레임을 합성함으로써 모델은 600개 이상의 프레임 동안 이미지 품질에 변화 없이 무한한 길이의 영상을 생성할 수 있었다.
• 원본 영상의 실제 프레임을 초기화로 사용함으로써, 예를 들어 다람쥐가 장면을 날아다니는 것처럼 방향성과 연속성을 유지한 향후 운동 예측이 가능했다.
• 다양한 동적 텍스처에서 뛰어난 성능을 보였지만, 전역적으로 일관된 운동에서의 복잡한 시간적 의존성을 포착하지 못하여 핵심적인 제한점이 드러났다.