[論文レビュー] Mutual Suppression Network for Video Prediction using Disentangled Features

Jungbeom Lee, Jangho Lee+2 more|arXiv (Cornell University)|Apr 13, 2018

Human Pose and Action Recognition参考文献 45被引用数 9

ひとこと要約

本論文では、敵対的訓練を用いて動画の動きとコンテンツ特徴を分離するための相互抑制ネットワーク（MSnet）を提案する。動きの特徴をコンテンツ特徴から抑制し、逆にコンテンツ特徴を動きの特徴から抑制することで、エンコーダ・デコーダフレームワーク内での動き誘導接続を活用し、より単純なエンコーダを用いても最先端の性能を達成し、フレーム予測の質と特徴の分離性において従来手法を上回る。

ABSTRACT

Video prediction has been considered a difficult problem because the video contains not only high-dimensional spatial information but also complex temporal information. Video prediction can be performed by finding features in recent frames, and using them to generate approximations to upcoming frames. We approach this problem by disentangling spatial and temporal features in videos. We introduce a mutual suppression network (MSnet) which are trained in an adversarial manner and then produces spatial features which are free of motion information, and motion features with no spatial information. MSnet then uses motion-guided connection within an encoder-decoder-based architecture to transform spatial features from a previous frame to the time of an upcoming frame. We show how MSnet can be used for video prediction using disentangled representations. We also carry out experiments to assess the effectiveness of our method to disentangle features. MSnet obtains better results than other recent video prediction methods even though it has simpler encoders.

研究の動機と目的

• 動画表現学習における動きとコンテンツの混合状態という課題に対処すること。これは、教師なし特徴学習を妨げる要因である。
• 光学的フローまたはラベル付きデータに依存せずに、空間的（コンテンツ）および時間的（動き）特徴を分離することにより、動画予測を改善すること。
• 過去のフレームからのコンテンツ特徴を修正する動き誘導接続を用いることで、より正確なフレーム生成を実現すること。
• 分離された特徴が動画予測における一般化性と再現性を向上させることを示すこと。
• アブレーションと可視化を通じて、相互抑制が純粋な動きおよびコンテンツ表現を達成する有効性を検証すること。

提案手法

• MSnetは、動き用とコンテンツ用の2つの判別器を用いた相互敵対的訓練スキームを採用し、特徴抽出中に不要な情報を抑制する。
• 動きエンコーダはコンテンツ判別器によるペナルティを受けることで、空間的コンテンツを含まない特徴を抽出するように訓練され、逆にコンテンツエンコーダも同様に動き判別器のペナルティを受ける。
• 時間反転性とオクルージョンに対する耐性を高めるために、複数のフレーム（例：x¹ と x²）からコンテンツ特徴を抽出する。
• デコーダ内の動き誘導接続は、動き特徴を用いて過去のフレームのコンテンツ特徴を、ターゲットフレームの時間的文脈に一致させる。
• 動き情報によって変更されたスキップ接続を備えたエンコーダ・デコーダアーキテクチャを採用し、特徴伝搬を改善する。
• 訓練目的関数には、特徴分離のための敵対的損失と、フレーム予測の忠実度のための再構成損失が含まれる。

実験結果

リサーチクエスチョン

• RQ1 相互敵対的訓練は、動画表現における動きとコンテンツ特徴の分離に効果的に機能するか？
• RQ2 単一フレームのコンテンツ抽出と比較して、複数フレームのコンテンツエンコーディングは、より高い耐障害性と分離性を実現するか？
• RQ3 デコーダ内での動き誘導接続は、時間的シフトに適応したコンテンツ特徴の調整により、フレーム予測を改善できるか？
• RQ4 相互抑制は、抽出された動き特徴とコンテンツ特徴の純度と意味的品質にどのように影響するか？
• RQ5 最先端手法と比較して、特徴分離がどれほど動画予測性能を向上させるか？

主な発見

• MSnetは、より単純なエンコーダを用いても最先端の動画予測性能を達成し、定量的指標および定性的な結果の両面で最近の手法を上回っている。
• アブレーションスタディの結果、動き判別器またはコンテンツ判別器のいずれかを削除すると性能が著しく低下し、効果的な分離のためには相互抑制が不可欠であることが確認された。
• 特徴ベースの類似フレーム検索では、両方の判別器を有効にしたMSnetが、純粋な動きまたはコンテンツに基づいてフレームを検索していることが示され、特徴分離の有効性が裏付けられた。
• t-SNE可視化では、動き特徴は行動タイプ（例：歩行、走行）ごとに明確にクラスタリングされている一方、コンテンツ特徴はランダムに分布しており、コンテンツ特徴内での動きの抑制に成功していることが示された。
• 両方の判別器が有効な場合、複数の予測フレームにわたり安定した性能を維持しており、時間的モデリングの強固さが裏付けられた。
• 時間反転可能なコンテンツ特徴設計により、コンテンツ特徴が時間的順序にかかわらず一貫性を保ち、動きの漏れが低減された。