[論文レビュー] Unsupervised Learning of Disentangled Representations from Video

Emily Denton, Vighnesh Birodkar|arXiv (Cornell University)|May 31, 2017

Generative Adversarial Networks and Image Synthesis被引用数 228

ひとこと要約

DrNetはビデオからコンテンツ（時間不変）とポーズ（時間変動）を分離表現として学習し、 novel adversarial lossを用いて長距離フレーム予測とどちらの成分からの分類を可能にする。

ABSTRACT

We present a new model DrNET that learns disentangled image representations from video. Our approach leverages the temporal coherence of video and a novel adversarial loss to learn a representation that factorizes each frame into a stationary part and a temporally varying component. The disentangled representation can be used for a range of tasks. For example, applying a standard LSTM to the time-vary components enables prediction of future frames. We evaluate our approach on a range of synthetic and real videos, demonstrating the ability to coherently generate hundreds of steps into the future.

研究の動機と目的

• 監視なしで堅牢なビデオ表現を学習する動機付け。
• ビデオフレームを静的なコンテンツ成分と動的なポーズ成分に分解。
• ポーズがクリップ固有の情報を含まないことを保証する敵対的損失を導入。
• 分離された特徴を用いて長距離フレーム予測と分類を実証。

提案手法

• 各フレームごとにコンテンツ表現 (E_c) とポーズ表現 (E_p) を生成する二つのエンコーダ。
• デコーダ(D) は連結されたコンテンツと未来のポーズ特徴から将来フレームを予測。
• 敵対的識別器(C) はポーズ特徴がクリップの同一性を暴露できないように強制。
• 類似性損失はコンテンツ特徴が時間とともにゆっくり変化するよう促す。
• 全体の目的は再構成、類似性、敵対項を可調整な重みで組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 映像フレームを時間不変のコンテンツと時間変動のポーズに教師なしで因数分解できるか。
• RQ2 ポーズ特徴に対する敵対的訓練は、予測的再構成を維持しつつコンテンツ/ポーズの分離を強制するか。
• RQ3 分離された表現は長距離のビデオ予測と下流の分類タスクを正確に支援できるか。

主な発見

• モデルは合成ビデオと実動画の両方でクリーンなコンテンツ/ポーズ因子分解を学習することを示した。
• 固定されたコンテンツを最後に観測したフレームから得られたポーズ特徴の単純なLSTMを用いて百フレーム以上の長距離予測が可能。
• コンテンツ特徴は意味的分類を支持し、ポーズ特徴はアクション予測を支持する。
• 敵対的損失は分離を強制するために重要で、それを除くとコンテンツ/ポーズの分離と分類性能が劣化する。
• NOR B上で、β=0.1のときコンテンツ特徴は高精度を達成し、β設定によってポーズ特徴が異なる性能を示す（表を参照）。
• 本手法は現実データ（KTH）と合成データでベースラインと比較して競合的または有利な定性的結果を示す。