[論文レビュー] Unsupervised Learning of Object Structure and Dynamics from Videos

Matthias Minderer, Chen Sun+4 more|arXiv (Cornell University)|Jun 19, 2019

Human Pose and Action Recognition参考文献 39被引用数 19

ひとこと要約

本稿では、キーポイントに基づく表現を用いて、オブジェクト構造とダイナミクスを同時に学習する、新しい教師なし動画生成フレームワークを提案する。スパース性と分離性の損失を導入することで、安定した分離済みキーポイント検出と高精細な動画予測を達成し、ベースラインと比較してFVDおよびトラッキング精度が顕著に向上する。

ABSTRACT

Extracting and predicting object structure and dynamics from videos without supervision is a major challenge in machine learning. To address this challenge, we adopt a keypoint-based image representation and learn a stochastic dynamics model of the keypoints. Future frames are reconstructed from the keypoints and a reference frame. By modeling dynamics in the keypoint coordinate space, we achieve stable learning and avoid compounding of errors in pixel space. Our method improves upon unstructured representations both for pixel-level video prediction and for downstream tasks requiring object-level understanding of motion dynamics. We evaluate our model on diverse datasets: a multi-agent sports dataset, the Human3.6M dataset, and datasets based on continuous control tasks from the DeepMind Control Suite. The spatially structured representation outperforms unstructured representations on a range of motion-related tasks such as object tracking, action recognition and reward prediction.

研究の動機と目的

• 教師なしで、分離済みで空間的に意味のあるオブジェクト構造とダイナミクスを動画から学習すること。
• 教師なし学習におけるキーポイント検出の不安定性および崩壊を是正すること。
• 生成シーケンスにおける多様性と時間的整合性を促進することで、動画予測の品質を向上させること。
• 教師なしアノテーションを用いずに、堅牢なキーポイントトラッキングおよび下流タスクの性能を実現すること。
• 構造的潜在表現が、複雑な動画ダイナミクスをモデル化するために不可欠であることを示すこと。

提案手法

• 動画フレームから空間的に構造化されたスパースな2次元座標を抽出するキーポイント検出器を用いる。
• CNN-VRNNを用いて、変分再帰ネットワークを用いて検出されたキーポイントの時間的ダイナミクスをモデル化する。
• 各フレームあたりのキーポイント数を少なくするよう促進するスパース性損失 $\mathcal{L}_{\text{sparse}}$ を導入する。
• 小さな空間的ガウス半径を用いた分離性損失 $\mathcal{L}_{\text{sep}}$ を適用し、キーポイントの崩壊を防止する。
• 構造のない潜在コードを避けるために、キーポイント検出器とダイナミクスモデルを別々に訓練する。
• サンプル品質と多様性を評価するために、VGGベースの知覚的類似性とFréchet Video Distance (FVD) を用いる。

実験結果

リサーチクエスチョン

• RQ1 教師なし動画モデルは、教師なしで分離済みで空間的に意味のあるオブジェクト表現を学習できるか？
• RQ2 $\mathcal{L}_{\text{sparse}}$ と $\mathcal{L}_{\text{sep}}$ は、モデルの安定性と性能をどのように向上させるか？
• RQ3 モデルはどの程度、多様で妥当な動画の未来を生成できるか？
• RQ4 なぜキーポイント検出器とダイナミクスモデルの別々の訓練が、共同訓練よりも優れているのか？
• RQ5 モデルは初期化やオブジェクト外観の変化に対してどの程度頑健か？

主な発見

• スパース性損失 $\mathcal{L}_{\text{sparse}}$ と分離性損失 $\mathcal{L}_{\text{sep}}$ の追加により、動画生成品質（FVD）およびキーポイントトラッキング精度の両方が顕著に向上した。
• VRNNはキーポイントのフレーム間での「ジャンプ」を部分的に緩和し、明示的な一貫性制約がなくても時間的スムージングを示した。
• VGGのコサイン類似度が真値と低いサンプルでさえも、高い視覚的品質を達成しており、多様性と現実性が強いことを示している。
• FVDスコアは、本モデルが先行手法よりも多様で妥当な動画の未来を生成できることを示している。
• 失敗モードとして、高速移動する物体（例：バスケットボール）のトラッキング不良や、外観への感受性（例：明るい色のプレイヤー）が見られ、検出の頑健性に限界があることが示された。
• キーポイント検出器とダイナミクスモデルを別々に訓練することで、構造のない潜在コードへの崩壊を防ぎ、構造的ダイナミクスの安定した学習が可能になった。