[論文レビュー] To Create What You Tell: Generating Videos from Captions

Yingwei Pan, Zhaofan Qiu+3 more|arXiv (Cornell University)|Apr 23, 2018

Generative Adversarial Networks and Image Synthesis参考文献 28被引用数 13

ひとこと要約

本稿では、3次元空間時間畳み込み、マルチレベル識別器、および動画の現実性、キャプション-動画整合性、時間的整合性の共同最適化を統合することで、自然言語キャプションに条件付けられた動画を生成する新規な時系列GANフレームワーク、TGANs-Cを提案する。モデルはMSVDで最先端の性能を達成し、人間評価および生成的対抗的メトリックの両方でベースラインを上回った。

ABSTRACT

We are creating multimedia contents everyday and everywhere. While automatic content generation has played a fundamental challenge to multimedia community for decades, recent advances of deep learning have made this problem feasible. For example, the Generative Adversarial Networks (GANs) is a rewarding approach to synthesize images. Nevertheless, it is not trivial when capitalizing on GANs to generate videos. The difficulty originates from the intrinsic structure where a video is a sequence of visually coherent and semantically dependent frames. This motivates us to explore semantic and temporal coherence in designing GANs to generate videos. In this paper, we present a novel Temporal GANs conditioning on Captions, namely TGANs-C, in which the input to the generator network is a concatenation of a latent noise vector and caption embedding, and then is transformed into a frame sequence with 3D spatio-temporal convolutions. Unlike the naive discriminator which only judges pairs as fake or real, our discriminator additionally notes whether the video matches the correct caption. In particular, the discriminator network consists of three discriminators: video discriminator classifying realistic videos from generated ones and optimizes video-caption matching, frame discriminator discriminating between real and fake frames and aligning frames with the conditioning caption, and motion discriminator emphasizing the philosophy that the adjacent frames in the generated videos should be smoothly connected as in real ones. We qualitatively demonstrate the capability of our TGANs-C to generate plausible videos conditioning on the given captions on two synthetic datasets (SBMG and TBMG) and one real-world dataset (MSVD). Moreover, quantitative experiments on MSVD are performed to validate our proposal via Generative Adversarial Metric and human study.

研究の動機と目的

• 自然言語キャプションから時間的整合性があり意味的に整合した動画を生成する課題に対処すること。
• 空間時間的依存関係をモデル化することで、GANを画像合成から動画生成へと拡張すること。
• 現実性、キャプション-動画一致、運動のなめらかさの3点を同時に最適化することで動画品質を向上させること。
• ノイズとテキスト埋め込みの両方に条件付けられた動画生成を統合するフレームワークを提供すること。
• 合成および実世界のデータセット上で定性的および定量的評価を実施し、モデルの有効性を検証すること。

提案手法

• 生成器は、ノイズベクトルとキャプション埋め込みの連結入力を、動画フレームの系列に変換する3次元畳み込みネットワークを用いる。
• 識別器は3つの並列ブランチから構成される：動画識別器、フレーム識別器、運動識別器。それぞれが異なるレベルの現実性と整合性をターゲットとする。
• 動画識別器は、実際の動画と生成された動画を区別し、動画-キャプション一致を検証する。
• フレーム識別器は、フレームレベルの現実性とキャプションとの整合性を評価する。
• 運動識別器は、実動画と生成動画の隣接フレーム間の変位を比較することで、時間的整合性を確保する。
• モデルは3つの損失成分を用いてエンドツーエンドで訓練される：動画レベルおよびフレームレベルの一致に配慮した損失、および運動一貫性に基づく時間的整合性損失。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルは、時間的整合性と入力キャプションとの意味的整合性の両方を満たす動画を生成できるか？
• RQ2 マルチレベル識別器は、テキスト条件付き動画生成の品質と一貫性をどのように向上させるか？
• RQ3 隣接フレーム間の運動を明示的にモデル化することは、動画の現実性にどのような影響を与えるか？
• RQ4 ノイズに加えてキャプション埋め込みを統合することで、無条件GANと比較して生成の忠実度がどのように向上するか？
• RQ5 提案アーキテクチャは、定量的メトリクスおよび人間評価の両方で、既存のベースラインをどの程度上回るか？

主な発見

• MSVDデータセットにおける人間評価では、TGANs-Cは現実性（平均順位1.76）、関連性（1.81）、整合性（1.86）の観点で、すべてのベースラインを顕著に上回った。
• 生成的対抗的メトリックでは、TGANs-CはVGANに対して0.39、GAN-CLSに対して0.53のサンプル比を示し、より現実的な動画を生成する能力に優れていることを示した。
• 運動識別器は、生成動画の隣接フレーム間の遷移が滑らかであることに起因し、時間的整合性の向上に効果的であった。
• フレームレベルおよび動画レベルの一致に配慮した損失は、生成コンテンツと入力キャプションとの整合性を顕著に向上させた。
• テスト比が常に1に近いことから、識別器ネットワークにおける顕著な過学習は認められず、モデルの頑健性が示された。
• SBMG、TBMG、MSVDにおける定性的な結果から、TGANs-Cは入力キャプションの意味を適切に反映した、現実的でダイナミックな動画を生成していることが確認された。