[論文レビュー] Learning Disentangled Representations of Videos with Missing Data

Armand Comas, Chi Zhang+3 more|arXiv (Cornell University)|Jan 1, 2020

Human Pose and Action Recognition被引用数 7

ひとこと要約

DIVEは、欠損フレームの補完と将来フレームの予測を同時に最適化することで、外見、ポーズ、ダイナミクス、欠損性の因子に分離された潜在空間を学習する深層生成モデルである。合成データおよび実世界の動画データセットにおいて、欠損データが存在する状況で最先端の手法を顕著に上回る性能を示す。

ABSTRACT

Missing data poses significant challenges while learning representations of video sequences. We present Disentangled Imputed Video autoEncoder (DIVE), a deep generative model that imputes and predicts future video frames in the presence of missing data. Specifically, DIVE introduces a missingness latent variable, disentangles the hidden video representations into static and dynamic appearance, pose, and missingness factors for each object. DIVE imputes each object's trajectory where data is missing. On a moving MNIST dataset with various missing scenarios, DIVE outperforms the state of the art baselines by a substantial margin. We also present comparisons for real-world MOTSChallenge pedestrian dataset, which demonstrates the practical value of our method in a more realistic setting. Our code and data can be found at this https URL.

研究の動機と目的

• データ欠損や不完全な状況における動画表現学習の課題に対処すること。
• 動画要因を静的外見、動的ポーズ、運動、欠損性の各成分に分離することで、モデル性能の向上を図ること。
• 統合的なフレームワーク内で欠損フレームの補完と将来フレームの予測が可能な生成モデルを開発すること。
• 合成および実世界の動画データセットに対して、現実的な欠損データパターンを想定した評価を実施すること。
• データ不足下での動画再構築における分離表現学習の実用的価値を示すこと。

提案手法

• DIVEは、動画シーケンスにおける欠損データの存在と位置を明示的にモデル化するための欠損性潜在変数を導入する。
• 隠れ表現を個別化された要因に分解する：各オブジェクトについて静的外見、動的ポーズ、運動、欠損性。
• 条件付きデコーダを備えた変分オートエンコーダアーキテクチャを用い、分離された要因に基づいてフレームを再構築および予測する。
• 再構築損失と将来予測損失を同時に最適化することで、補完と予測のエンドツーエンド学習を可能にする。
• 分離された要因はフレーム間で共有されるため、観測が欠損している場合でも一貫性のある軌道補完が可能になる。
• ランダム、連続的、オブジェクト固有の遮蔽といった多様な欠損データパターンを含む動画シーケンスでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、運動および外見の一貫性を保ちながら、動画シーケンスにおける欠損フレームを効果的に補完できるか？
• RQ2 外見、ポーズ、ダイナミクス、欠損性の要因を分離することで、表現品質および再構築精度がどの程度向上するか？
• RQ3 複雑な欠損パターンを示す実世界の動画データに対して、モデルはどの程度一般化性能を示すか？
• RQ4 分離表現により、分離を考慮しないエンドツーエンドモデルに比べて、将来フレーム予測の性能が向上するか？
• RQ5 欠損性を潜在変数として明示的にモデル化することで、補完および予測性能にどのような影響を与えるか？

主な発見

• DIVEは、さまざまな欠損データ状況を想定した動くMNISTデータセットにおいて、最先端のベースラインを大きく上回る優れた性能を達成した。
• 分離された運動およびポーズ要因を通じて、一貫性のあるオブジェクト軌道を学習することで、欠損フレームの効果的な再構築が可能となった。
• 実世界のMOTSChallengePedestrianデータセットでは、現実的な欠損データパターンを扱う上でDIVEの実用的価値が示された。
• 分離表現により、動画の大部分が欠損している場合でも、正確な補完と将来フレーム予測が可能となった。
• 欠損性を潜在変数として明示的にモデル化することで、欠損データを無視またはマスクするモデルと比較して、再構築および予測性能が向上した。
• アブレーションスタディにより、外見、ポーズ、ダイナミクス、欠損性の分離が、より強固で汎用性の高い動画表現をもたらすことが確認された。