[論文レビュー] Synthesizing Dynamic Patterns by Spatial-Temporal Generative ConvNet

Jianwen Xie, Song‐Chun Zhu+1 more|arXiv (Cornell University)|Jun 3, 2016

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 9

ひとこと要約

本稿では、動的テクスチャーや動作といった動的ビデオパターンを、3次元畳み込みフィルターを備えた深層エネルギーに基づくモデルを用いてモデリングおよび合成する空間的・時間的生成的ConvNetを提案する。本手法は、ランジュバンダイナミクスによるサンプリングを用いた「合成による解析（analysis by synthesis）」学習スキームを採用しており、遮蔽や欠落フレームを含む不完全なビデオデータから同時に学習可能であり、現実的な合成が可能である。

ABSTRACT

Video sequences contain rich dynamic patterns, such as dynamic texture patterns that exhibit stationarity in the temporal domain, and action patterns that are non-stationary in either spatial or temporal domain. We show that a spatial-temporal generative ConvNet can be used to model and synthesize dynamic patterns. The model defines a probability distribution on the video sequence, and the log probability is defined by a spatial-temporal ConvNet that consists of multiple layers of spatial-temporal filters to capture spatial-temporal patterns of different scales. The model can be learned from the training video sequences by an "analysis by synthesis" learning algorithm that iterates the following two steps. Step 1 synthesizes video sequences from the currently learned model. Step 2 then updates the model parameters based on the difference between the synthesized video sequences and the observed training sequences. We show that the learning algorithm can synthesize realistic dynamic patterns.

研究の動機と目的

• 動的テクスチャーや非定常的動作を含む、複雑な動的パターンをビデオで合成できる深層生成モデルの開発。
• 複数のスケールでのパターン抽出を可能にするために、空間的生成ConvNetを3次元空間的・時間的フィルターを組み合わせることで時間領域に拡張。
• 遮蔽された画素や欠落したフレームを含む不完全なビデオシーケンスからエンドツーエンドの学習を可能にするとともに、同時にパターン補完を実行。
• 開始フレームを必要としないことから、動く物体を除去し、背景を再構築するビデオインpaintingの能力を実証。

提案手法

• モデルは、深層空間的・時間的ConvNet（複数層の3次元フィルターとReLU非線形性を備える）によりパrameter化されたエネルギー関数を用いて、ビデオシーケンスの確率分布を定式化する。
• 生成モデルはランジュバンダイナミクスを用いてサンプリングされ、学習済み分布からの現実的なサンプルを生成するために、繰り返し画素強度を更新する。
• 学習は「合成による解析」アルゴリズムにより実行される：まず、現在のモデルパラメータを用いてビデオシーケンスを合成し、次に合成結果と観測された訓練データとの差分に基づいてパラメータを更新する。
• モデルは観測データの対数尤度を最適化するために確率的勾配降下法を用いて学習され、実データ分布に近づくようにモデルの密度をシフトする。
• マルチスケール推論が可能であり、生成ネットワークを用いた協調学習により高速化も可能であるが、本研究のコアな実験ではこれを使用しない。
• ビデオインpaintingや回復のため、観測済み（非遮蔽）画素に条件付けられたMCMCサンプリングが実行され、欠落領域やフレームを妥当な空間的・時間的パッチで補完する。

実験結果

リサーチクエスチョン

• RQ1 3次元空間的・時間的フィルターを備えた深層生成ConvNetは、動的テクスチャーや動作といった現実的な動的ビデオパターンを効果的にモデリングおよび合成できるか？
• RQ2 本手法は、フレーム欠落や遮蔽画素を含む不完全なビデオシーケンスから学習可能であり、同時にパターン補完も行えるか？
• RQ3 ランジュバルダイナミクスを用いた「合成による解析」学習スキームは、因果的または自己回帰的構造を必要としないまま、高品質なビデオ合成と再構築を可能にするか？
• RQ4 空間的・時間的生成ConvNetは、従来のマルコフ確率場（MRF）モデルと比較して、ビデオインpaintingおよび回復タスクで優れた性能を示すか？
• RQ5 補足結果が示唆するように、本モデルは動画に限らず音声パターンなどの他の動的信号タイプにも一般化可能か？

主な発見

• 空間的・時間的生成ConvNetは、静的テクスチャーや非定常的動作を含む現実的な動的パターンを効果的に合成し、複雑な空間的・時間的ダイナミクスを捉える柔軟性を示した。
• MRFベースラインと比較して、遮蔽付きシーケンスにおける動画回復性能が優れていた：塩こしょうノイズ遮蔽50％の場合、MRF-ℓ₂に対して平均8.28 dB、MRF-ℓ₁に対して6.36 dBのPSNR向上を達成。
• 単一領域遮蔽の状況では、平均回復誤差が5.4348（0～255の強度スケール）に留まり、MRF-ℓ₂（13.5101）およびMRF-ℓ₁（13.3364）を大きく上回った。
• 50％のフレーム欠落の場合、平均回復誤差は6.7285に留まり、MRF-ℓ₂（15.0085）およびMRF-ℓ₁（13.7746）よりも顕著に低い値を示し、良好な時間的整合性の学習を示した。
• 本モデルは、実際に撮影された動画シーケンスにおいて、ボートや歩行者といった移動物体を除去し、妥当なシーンコンテンツを再構築する背景インpaintingを効果的に実行した。
• 本手法は因果的でなく、開始フレームを必要としないため、RNNベースのアプローチと比較して、複数の時間スケールにわたる時間的パターンをより柔軟かつ直接的にモデリング可能である。