[논문 리뷰] Hierarchical Video Generation from Orthogonal Information: Optical Flow and Texture

Katsunori Ohnishi, Shohei Yamamoto외 2명|arXiv (Cornell University)|2017. 11. 27.

Advanced Vision and Imaging인용 수 15

한 줄 요약

이 논문은 유동성과 텍스처를 분리하여 두 단계로 영상 생성을 수행하는 계층적 생성 적대적 네트워크인 Flow-and-Texture GAN(FTGAN)을 제안한다. 먼저 FlowGAN을 통해 운동을 모델링하는 광학 흐름을 생성하고, 이후 TextureGAN을 통해 공간적·시간적 일관성을 유지하면서 현실적인 텍스처를 추가한다. 이 방법은 이전의 GAN 기반 영상 생성 모델 대비 더 자연스러운 운동과 향상된 비지도 동작 인식 성능을 달성한다.

ABSTRACT

Learning to represent and generate videos from unlabeled data is a very challenging problem. To generate realistic videos, it is important not only to ensure that the appearance of each frame is real, but also to ensure the plausibility of a video motion and consistency of a video appearance in the time direction. The process of video generation should be divided according to these intrinsic difficulties. In this study, we focus on the motion and appearance information as two important orthogonal components of a video, and propose Flow-and-Texture-Generative Adversarial Networks (FTGAN) consisting of FlowGAN and TextureGAN. In order to avoid a huge annotation cost, we have to explore a way to learn from unlabeled data. Thus, we employ optical flow as motion information to generate videos. FlowGAN generates optical flow, which contains only the edge and motion of the videos to be begerated. On the other hand, TextureGAN specializes in giving a texture to optical flow generated by FlowGAN. This hierarchical approach brings more realistic videos with plausible motion and appearance consistency. Our experiments show that our model generates more plausible motion videos and also achieves significantly improved performance for unsupervised action classification in comparison to previous GAN works. In addition, because our model generates videos from two independent information, our model can generate new combinations of motion and attribute that are not seen in training data, such as a video in which a person is doing sit-up in a baseball ground.

연구 동기 및 목표

• 비라벨링된 데이터로부터 자연스럽고 신뢰할 수 있는 운동과 일관된 외관을 갖춘 영상 생성의 과제를 해결하기 위해.
• 영상 생성을 상호수직적인 구성요소인 운동(광학 흐름)과 외관(텍스처)으로 분해하여 학습을 단순화하고 품질을 향상시키기 위해.
• 학습 데이터에 존재하지 않는 새로운 운동-속성 조합을 생성할 수 있도록 운동과 외관에 대한 분리된 제어를 가능하게 하기 위해.
• 후속 동작 분류 작업을 위한 비지도 영상 표현 학습을 향상시키기 위해.

제안 방법

• FlowGAN은 무작위 노이즈에서 광학 흐름을 생성하며, 텍스처 없이 운동 경계와 시간 연속성을 중시한다.
• TextureGAN은 생성된 광학 흐름을 입력으로 받아 외곽 및 배경 일관성을 유지하면서 현실적인 RGB 영상을 텍스처를 추가하여 합성한다.
• 계층적 파이프라인은 먼저 운동의 현실성을 확보한 후 외관을 정교화함으로써 공동 영상 생성의 복잡성을 감소시킨다.
• FlowGAN과 TextureGAN은 모두 3D 컨볼루션 네트워크를 사용하며, 각각 운동과 외관에 특화된 판별기와 함께 적대적 훈련을 수행한다.
• 비지도 동작 분류를 위해 각 판별기의 마지막 레이어에서 특징을 추출하고 선형 SVM을 통해 통합한다.
• 광학 흐름은 Brox 알고리즘을 사용하여 추정되며, 인간의 레이블 없이도 완전히 비지도 훈련이 가능하다.

실험 결과

연구 질문

• RQ1 영상 생성을 운동(광학 흐름)과 외관(텍스처) 구성요소로 분리하는 것이 생성 영상의 현실성과 자연스러움을 향상시키는가?
• RQ2 서로 수직인 정보(흐름과 텍스처)로부터 계층적으로 생성하는 것이 공동 생성보다 더 나은 비지도 영상 표현 학습을 이끌어내는가?
• RQ3 모델은 학습 데이터에 존재하지 않는 새로운 운동과 외관의 조합을 생성할 수 있는가?
• RQ4 제안된 FTGAN의 성능은 이전의 GAN 기반 영상 생성 방법 대비 운동 품질과 동작 인식 정확도 측면에서 어떻게 비교되는가?

주요 결과

• Human 평가를 통해 50개 영상, 총 8000건의 판단을 실시한 결과, FTGAN은 기존의 GAN 기반 모델인 VGAN에 비해 훨씬 더 자연스러운 운동을 생성함을 확인하였다.
• UCF101 데이터셋에서 FTGAN은 비지도 동작 분류 정확도에서 최신 기준을 달성하였으며, VGAN과 TGAN을 모두 초월하였고, 이전에 가장 우수한 성능을 기록한 GAN 기반 방법 대비 5.5% 향상된 성능을 기록하였다.
• FlowGAN과 TextureGAN의 판별기에서 추출한 특징을 융합함으로써 우수한 성능을 달성하였으며, 이는 각 네트워크가 각각 운동과 외관 특성을 보완적으로 학습하고 있음을 시사한다.
• 더 복잡한 Penn Action 데이터셋에서는 FTGAN이 VGAN을 능가하였으며, 이는 운동 복잡성이 증가할수록 분리된 접근 방식이 더 효과적임을 시사한다.
• 모델은 학습 데이터에 존재하지 않는 새로운 운동-속성 조합, 예를 들어 야구장에서 누워서 스쿼트를 하는 사람과 같은 경우를 성공적으로 생성하여 운동과 외관에 대한 분리된 제어 기능을 입증하였다.
• 비록 SURREAL 데이터셋에서는 TextureGAN이 VGAN에 비해 略로 낮은 성능을 보였지만, Penn Action 데이터셋에서는 크게 뛰어난 성능을 기록하여 복잡한 운동 상황에서의 분리 기반 접근의 유용성을 입증하였다.