[論文レビュー] Image2GIF: Generating Cinemagraphs using Recurrent Deep Q-Networks

Yipin Zhou, Yale Song+1 more|arXiv (Cornell University)|Jan 27, 2018

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 3

ひとこと要約

本論文では、1枚の静止画からcinemagraphを自動生成するため、再帰的生成モデルにDeep Q-Networks（DQN）を統合した手法を提案する。本手法は、アニメーションを適用する場所（局所化）とその動きの生成方法（動き生成）の両方を学習する。ベースラインと比較して優れた視覚的品質と現実性を達成しており、人間評価では合成データおよび実データの両方で、RNN+DQNが認識された現実性と好みの面で他の手法を上回っている。

ABSTRACT

Given a still photograph, one can imagine how dynamic objects might move against a static background. This idea has been actualized in the form of cinemagraphs, where the motion of particular objects within a still image is repeated, giving the viewer a sense of animation. In this paper, we learn computational models that can generate cinemagraph sequences automatically given a single image. To generate cinemagraphs, we explore combining generative models with a recurrent neural network and deep Q-networks to enhance the power of sequence generation. To enable and evaluate these models we make use of two datasets, one synthetically generated and the other containing real video generated cinemagraphs. Both qualitative and quantitative evaluations demonstrate the effectiveness of our models on the synthetic and real datasets.

研究の動機と目的

• 1枚の静止画からcinemagraphを自動生成し、アニメーションGIF作成の手作業を削減すること。
• シーン内のどのオブジェクトが動かせるか、そしてどのように動かすべきかを学習し、静的入力から動的意味を捉えること。
• 時間的モデリングと強化学習を統合した生成モデルを開発し、より優れた動きシーケンス生成を実現すること。
• 合成データおよび実世界のcinemagraphデータセットの両方でモデルを評価し、堅牢な比較を可能にすること。

提案手法

• モデルは、1枚の入力画像から逐次フレームを符号化および生成するため、変分オートエンコーダーを組み合わせた再帰的ニューラルネットワーク（RNN）を用いる。
• 動きの選択と時間的変化の制御のため、画像領域のアニメーション化とその方法を決定するための確率的意思決定を支援するために、Deep Q-Network（DQN）を統合する。
• 視覚的現実性と構造的一致性を向上させるために、敵対的損失と再構成損失の組み合わせを用いて生成モデルを訓練する。
• 再帰的アーキテクチャにより、各フレームが以前に生成されたフレームに条件付けられ、時間的に整合性のあるシーケンスを生成できる。
• モデルは、制御された動きを備えた合成データセットと、インターネットで収集された実世界のcinemagraphデータセットの2つで訓練および評価される。
• 動きの局所化精度の評価にはセグメンテーションマップが用いられ、予測された動くオブジェクトの中心と真値を比較する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、1枚の静止画から時間的に整合性のあるcinemagraphシーケンスを自動で生成できるか？
• RQ2 モデルは静止画内の動くオブジェクトをどれほど正確に局所化し、それらに対して妥当な動きシーケンスを生成できるか？
• RQ3 Deep Q-Networksを統合することで、ベースライン手法と比較して生成cinemagraphの品質と現実性がどの程度向上するか？
• RQ4 本モデルは、真値の動きが与えられた合成データと実世界のcinemagraphの両方でどの程度の性能を示すか？
• RQ5 人間の評価者が生成cinemagraphと本物を区別できるか？また、認識された現実性において、本手法は先行研究と比較してどの程度優れているか？

主な発見

• RNN+DQNモデルは、定性的比較において最高の人間好みを得ており、2者比較のうち63.3％の被験者が最も優れたcinemagraphとして選んだ。
• モデルは人間の観測者を欺き、生成cinemagraphを本物だと信じ込ませる確率が60.0％に達し、ベースライン手法を著しく上回った。
• 合成データセットでは、RNN+DQNモデルがベースラインと比較して、予測されたオブジェクト中心と真値の間の平均ユークリッド距離を28.7％削減した。これは、より優れた動きの局所化を示している。
• アブレーションスタディの結果、小さなボトルネック（z）およびQベクトルサイズを用いることで、情報損失と過剰量子化が生じ、性能が著しく低下した。
• 定数ベースライン（最初のフレームをコピーする）は、フレーム単位の差分画像でPSNR/SSIMが0となったが、RNN+DQNは非ゼロのスコアを達成しており、動的動きの生成能力を裏付けた。
• ハイパーパramータの選択に対して本モデルは頑健であり、合成データでは64次元のz、実データでは512次元のQベクトルで最適な性能を示した。