[論文レビュー] Synthesizing Dynamic Textures and Sounds by Spatial-Temporal Generative ConvNet.

Jianwen Xie, Song‐Chun Zhu+1 more|arXiv (Cornell University)|Jun 3, 2016

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 4

ひとこと要約

本論文では、動的テクスチャおよび音声を、空間的・時間的要因を捉える多層構造の空間的・時間的フィルタを用いて、動画および音声における確率的で繰り返しのある性質をモデル化する空間的・時間的生成型ConvNetを提案する。このモデルは、現実的な動的テクスチャおよび自然音・人工音の合成に成功し、視覚的および聴覚的領域の両方で有効性を示している。

ABSTRACT

Dynamic textures are spatial-temporal processes that exhibit statistical stationarity or stochastic repetitiveness in the temporal dimension. In this paper, we study the problem of modeling and synthesizing dynamic textures using a generative version of the convolution neural network (ConvNet or CNN) that consists of multiple layers of spatial-temporal filters to capture the spatial-temporal patterns in the dynamic textures. We show that such spatial-temporal generative ConvNet can synthesize realistic dynamic textures. We also apply the temporal generative ConvNet to the one-dimensional sound data, and show that the model can synthesize realistic natural and man-made sounds. The videos and sounds can be found at this http URL

研究の動機と目的

• 動的テクスチャを統計的定常性を持つ空間的・時間的プロセスとしてモデル化すること。
• 動的テクスチャ内の複雑な空間的・時間的パターンを捉えることのできる生成型ConvNetアーキテクチャを開発すること。
• 1次元の音声データにまでモデルを拡張し、現実的な音声合成を実現すること。
• 本モデルが、人間が感じ取る現実性のある動画および音声シーケンスを生成する能力を示すこと。

提案手法

• 本モデルは、階層的な空間的・時間的表現を学習するために、複数層の空間的・時間的フィルタを備えた深層ConvNetを採用する。
• 動的テクスチャの空間的・時間的統計的同時分布をモデリングするため、畳み込みニューラルネットワークに基づく生成アプローチを用いる。
• 1次元の音声データに適応するため、フィルタの次元を変更して時間的シーケンス上での演算を可能にする。
• 入力シーケンスの再構成を学習することで、学習済み分布からのサンプリングによって、新しい現実的なサンプルを生成可能にする。
• バックプロパゲーションを用いて、空間的および時間的依存関係を捉えるように、空間的・時間的フィルタをエンドツーエンドで学習する。
• 生成プロセスは、自己回帰的または潜在変数からのサンプリングを用い、学習済み特徴から長時間のシーケンスを生成する。

実験結果

リサーチクエスチョン

• RQ1 生成型ConvNetは、統計的定常性を持つ動的テクスチャを効果的にモデル化・合成できるか？
• RQ2 同じアーキテクチャは、1次元の音声信号に一般化され、現実的な音声合成に適しているか？
• RQ3 本空間的・時間的生成アプローチを用いることで、合成された動画および音声にどの程度の知覚的リアリズムが達成できるか？
• RQ4 空間的・時間的フィルタは、動的テクスチャ内の繰り返し的かつ確率的なパターンをどのように捉えているか？

主な発見

• 提案された空間的・時間的生成型ConvNetは、空間的・時間的パターンを捉えることで、現実的な動的テクスチャの合成に成功した。
• 本モデルは1次元の音声データに効果的に一般化され、自然音および人工音を現実的に生成した。
• 視覚的および聴覚的評価により、合成された動画および音声シーケンスが知覚的に説得力を持っていることが確認された。
• 多層構造の空間的・時間的フィルタの使用により、動的プロセスの階層的表現を学習可能となった。
• 学習済みの時間的ダイナミクスを用いることで、長時間のシーケンスの生成において、本アーキテクチャは頑健であることが示された。
• 結果から、深層生成型ConvNetは、動画および音声の両分野における複雑な空間的・時間的プロセスのモデリングに有効であることが示された。