[論文レビュー] Disentangling Space and Time in Video with Hierarchical Variational Auto-encoders

Will Grathwohl, Aaron Wilson|arXiv (Cornell University)|Dec 14, 2016

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 18

ひとこと要約

本論文では、潜在変数に因子付き事前分布を課すことにより、動画における静的アイデンティティと動的ポーズ／ポーズに類似する特徴を分離する階層的変分オートエンコーダを提案する。時間的不変性はガウスのランダムウォーク事前分布によりモデル化される。この手法は、VAEおよびスローフィーチャーアナリシスのベースラインと比較して、動くキャラクターと回転する3次元オブジェクトのデータセットにおいて優れた分離性と転移学習性能を達成する。

ABSTRACT

There are many forms of feature information present in video data. Principle among them are object identity information which is largely static across multiple video frames, and object pose and style information which continuously transforms from frame to frame. Most existing models confound these two types of representation by mapping them to a shared feature space. In this paper we propose a probabilistic approach for learning separable representations of object identity and pose information using unsupervised video data. Our approach leverages a deep generative model with a factored prior distribution that encodes properties of temporal invariances in the hidden feature set. Learning is achieved via variational inference. We present results of learning identity and pose information on a dataset of moving characters as well as a dataset of rotating 3D objects. Our experimental results demonstrate our model's success in factoring its representation, and demonstrate that the model achieves improved performance in transfer learning tasks.

研究の動機と目的

• 教師なしで、静的アイデンティティと時間的に変化するポーズを意味的に意味のある分離された表現として学習すること。
• 既存のモデルが共有された潜在空間内でアイデンティティと動きを混同するという限界に対処すること。
• 確率的モデリングを通じて分離可能で解釈可能な特徴を学習することで、転移学習性能を向上させること。
• 時間的不変性（スローフィーチャーアナリシスの原則）と独立特徴学習（変分オートエンコーダーの原則）を統合的な生成モデルフレームワークに統合すること。
• 因子付き表現が、下流タスクにおける一般化性能の向上に寄与することを実証すること。

提案手法

• 潜在空間に静的要因と時間的に変化する要因を明示的に分離する因子付き事前分布を導入した階層的変分オートエンコーダを用いる。
• 潜在状態にガウスのランダムウォーク事前分布を導入し、静的特徴の時間的滑らかさと不変性を強制する。
• 変分推論を用い、変分下界（ELBO）の確率的勾配降下法により、モデルをエンドツーエンドで訓練する。
• 潜在表現を2つに分解する：時間的にほぼ一定の静的成分と、フレーム間で滑らかに変化する動的成分。
• エンコーダとデコーダの共通部分を持つ2ストリームアーキテクチャを採用し、潜在空間をアイデンティティ要因とポーズ要因に分割する。
• 再構成と正則化のバランスをとるためにKL重み付き学習を実装し、βの変動によるアブレーションスタディにより分離性を制御する。

実験結果

リサーチクエスチョン

• RQ1 教師なしデータのみを用いて、深層生成モデルが動画における静的アイデンティティと動的ポーズの分離された表現を学習できるか？
• RQ2 潜在空間に因子付き事前分布を課すことで、分離性と下流タスクにおける転移学習性能が向上するか？
• RQ3 標準的なVAEおよびスローフィーチャーアナリシスと比較して、提案手法は意味的に意味のある特徴をどのように学習するか？
• RQ4 βや潜在次元数といったハイパーパrameterの値に依存して、モデルの性能がどの程度変化するか？
• RQ5 複雑な運動と外観の変化を伴う実世界の動画データに対しても、モデルは一般化可能か？

主な発見

• 提案手法は、MNIST動画データセットでβ=4の条件下で6.82の分離スコアを達成し、回転するチェアデータセットでは1.81を記録。これは、ベースラインVAE（1.71および1.35）およびスローフィーチャーアナリシス（6.38および1.39）を大きく上回る。
• Bouncing MNISTの静的分類タスクでは、4要因のサブセットで88%の精度を達成。VAEベースライン（80%）およびスローフィーチャーアナリシスモデル（66%）を上回る。
• 回転するチェアデータセットでは、β=4の条件下で静的分類で59%の精度を達成。VAEベースライン（54%）およびスローフィーチャーアナリシスモデル（37%）を上回る。
• βの増加に伴いモデルの性能が向上することから、より強い正則化により分離された表現学習がより効果的であることが示唆されるが、さらなるチューニングで性能向上が継続する可能性がある。
• 定性的な分析により、モデルが解釈可能で分離された特徴を学習していることが確認された：1つの要因がアイデンティティ（例：数字の種類）を捉え、もう1つの要因が動きの軌道を捉えている。
• アブレーションスタディの結果、適切な変分正則化がなければ、モデルはベンチマークを著しく下回る性能を示すことが判明。これにより、提案された事前分布と学習スキームの重要性が強調される。