[論文レビュー] Video Imagination from a Single Image with Transformation Generation

Baoyang Chen, Wenmin Wang+2 more|arXiv (Cornell University)|Jun 13, 2017

Advanced Image Processing Techniques参考文献 32被引用数 26

ひとこと要約

本稿では、潜在空間における変換生成を用いて時間的運動をモデル化することで、1枚の静止画像から多様で高品質な架空の動画をエンドツーエンドで教師なしに生成するフレームワークを提案する。本手法はボリュメトリックマージネットワークを用いた adversarial 訓練により、変換された入力画像からフレームを再構築し、合成および自然な動画データセットにおいて最先端の知覚的品質と多様性を達成している。

ABSTRACT

In this work, we focus on a challenging task: synthesizing multiple imaginary videos given a single image. Major problems come from high dimensionality of pixel space and the ambiguity of potential motions. To overcome those problems, we propose a new framework that produce imaginary videos by transformation generation. The generated transformations are applied to the original image in a novel volumetric merge network to reconstruct frames in imaginary video. Through sampling different latent variables, our method can output different imaginary video samples. The framework is trained in an adversarial way with unsupervised learning. For evaluation, we propose a new assessment metric $RIQA$. In experiments, we test on 3 datasets varying from synthetic data to natural scene. Our framework achieves promising performance in image quality assessment. The visual inspection indicates that it can successfully generate diverse five-frame videos in acceptable perceptual quality.

研究の動機と目的

• 1枚の静止画像から多様で現実的と思われる架空の動画を生成する課題に取り組む。これは、内在的な運動のあいまいさのため、真値が存在しないことが特徴である。
• ピクセル空間の高次元性と時間的依存性の問題を克服するため、ピクセルそのものではなく変換をモデル化することで、動画生成の性能を向上させる。
• ラベル付きの動きデータや複数の入力フレームを必要としない、完全に教師なしでエンドツーエンドに訓練可能なフレームワークを開発する。
• シーンや解像度の違いに依存しない、動画再構築品質を公平に評価できる新しい評価指標 RIQA を導入する。
• 合成および自然なシーンを含む多様なデータセットにおいて、本フレームワークの頑健性と優位性を実証する。

提案手法

• 本フレームワークは、1つの入力画像と潜在変数に条件づけられた変換の系列を生成し、ピクセル空間ではなく変換空間で運動をモデル化する。
• 変換された画像特徴と学習されたボリュメトリックカーネルを用いて、ボリュメトリックマージネットワークで各フレームを再構築する。
• 空間的および時間的整合性を評価するためのコピットネットワークを用いた adversarial 訓練を実施し、現実的な動画生成を促進する。
• 潜在変数により多様なサンプリングが可能で、同じ入力画像から複数の異なる架空の動画系列を生成できる。
• 変換は K と P でパrameter化されたアフィンまたは畳み込み変換を用いる。ここで P は1フレームを再構築するために使用される変換の系列長である。
• シーンに依存しない新しい評価指標 RIQA（相対的画像品質評価）を導入。BRISQUE を用いて入力から出力への品質低下を相対的に評価し、シーンや解像度の違いを正規化する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間における変換生成が、真値のない教師なし環境でも、多様で現実的な動画の運動を効果的にモデル化できるか？
• RQ2 ピクセル空間への直接生成と比較して、変換空間での運動モデル化は、画像品質と時間的整合性の面でどのように異なるか？
• RQ3 空間時間的コピットを用いた adversarial 訓練は、生成動画の知覚的品質をどの程度向上させられるか？
• RQ4 変換タイプ、系列長（P）、パラメータ数（K）の変化に対して、本フレームワークはどの程度頑健か？
• RQ5 真値が存在しない状況において、シーンに依存しない指標 RIQA は、動画生成品質を公平に評価できるか？

主な発見

• 本フレームワークは、アフィン変換を用い、K=6、P=5 とした場合、UCF101 データセットで RIQA スコア 2.03% を達成し、より多くの事前情報を持つベースラインや手法を上回った。
• 定性的な結果から、本フレームワークはシャープで多様かつ知覚的に現実的な動画を生成しており、波打つ動きやジャンプなどのリアルな運動ダイナミクスを再現している。また、実際の動画とは異なる運動方向であっても、そのような動きを自然に再現している。
• 定量的および定性的な両評価において、光流に基づく（Brox et al., 2004）およびピクセル再構築に基づく（Mathieu et al., 2015）ベースラインを上回った。
• 4枚の入力フレームを必要とする変換ベースのモデル（van Amersfoort et al., 2017）は、本稿の単一画像手法に比べてぼやけた結果を示しており、本手法のアーキテクチャの優位性を示している。
• ハイパーパramータの選択に対して本フレームワークは頑健である：アフィン変換で P=5 を用いた場合が最良の性能（RIQA 2.03%）を示した。一方、P を大きくするか、より複雑な畳み込み変換を用いると品質劣化が顕著に現れ（例：P=10 の場合 4.79%）、性能が低下した。
• 失敗事例として、アフィンモデルでは変換後の空領域に黒いピクセルアーチファクトが発生し、畳み込みモデルでは低解像度のオブジェクト部分が生成される傾向があった。これは、マージネットワークの設計に改善の余地があることを示唆している。