[論文レビュー] Unsupervised Discovery of Parts, Structure, and Dynamics

Zhenjia Xu, Zhijian Liu+5 more|arXiv (Cornell University)|Mar 12, 2019

Human Pose and Action Recognition被引用数 25

ひとこと要約

本論文では、自己教師ありフレームワークとして、ラベルなし動画フレームから分解能があり階層的なオブジェクト表現と運動ダイナミクスを学習する、パーツ・構造・ダイナミクス（PSD）モデルを提案する。レイヤード画像表現、微分可能構造記述子、および将来のフレーム予測を組み合わせることで、人為的アノテーションなしに、実データおよび合成データの両方で、自己教師あり部品セグメンテーション、階層的構造の発見、運動予測の分野で最先端の性能を達成した。

ABSTRACT

Humans easily recognize object parts and their hierarchical structure by watching how they move; they can then predict how each part moves in the future. In this paper, we propose a novel formulation that simultaneously learns a hierarchical, disentangled object representation and a dynamics model for object parts from unlabeled videos. Our Parts, Structure, and Dynamics (PSD) model learns to, first, recognize the object parts via a layered image representation; second, predict hierarchy via a structural descriptor that composes low-level concepts into a hierarchical structure; and third, model the system dynamics by predicting the future. Experiments on multiple real and synthetic datasets demonstrate that our PSD model works well on all three tasks: segmenting object parts, building their hierarchical structure, and capturing their motion distributions.

研究の動機と目的

• ラベルなし動画から人間のアノテーションなしに、解釈可能で分離可能なオブジェクトパーツを発見する自己教師ありモデルの開発。
• 微分可能構造記述子を用いて、オブジェクトパーツの階層的構成構造を同時に学習すること。
• ペアドフレームのみを入力として、オブジェクトパーツの将来の運動ダイナミクスをモデル化・予測すること。
• 人間の運動を含む、複雑なリアルワールドのRGB動画に対してもゼロショット一般化を可能にすること。
• 合成データおよび現実世界のデータの両方で、意味のある部品セグメンテーション、階層的関係、運動分布の回復が可能かどうかを検証すること。

提案手法

• PSDモデルは、動画フレームからのオブジェクトパーツの特定とセグメンテーションに、レイヤード画像表現を用いる。
• 低レベルのパーツを学習可能な構造行列 S を用いて階層的構造へと合成する微分可能構造記述子を採用する。
• 2つの入力フレームから将来のフレームを再構築する損失関数を用いて、エンドツーエンドで訓練する。
• 構造記述子はニューラルネットワーク内に完全に微分可能なモジュールとして統合され、パーツ発見と階層学習の共同最適化を可能にする。
• 運動ダイナミクスは、将来のフレームを予測することで捉えられ、潜在空間のサンプリングにより、多様で現実的と思われる将来のシーケンスを生成する。
• 運動モデリングには Liu, 2009 の手法による光流速推定を活用し、定性的および定量的指標を用いて評価した。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありモデルは、人為的アノテーションなしに、ラベルなし動画から分離可能なオブジェクトパーツを発見できるか？
• RQ2 モデルは発見されたオブジェクトパーツ間の意味的な階層的構造を学習できるか？
• RQ3 2つの入力フレームのみから、オブジェクトパーツの将来の運動ダイナミクスを正確に予測できるか？
• RQ4 複雑なリアルワールドのRGB動画（複雑な運動と構造を含む）に対し、どの程度一般化できるか？
• RQ5 学習された表現は、人間が認識するオブジェクトパーツや関係性とどの程度解釈可能で整合するか？

主な発見

• 人間の運動データセットでは、PSDモデルは部品セグメンテーションで平均IoU 0.474を達成し、NEM（0.251）および R-NEM（0.276）を顕著に上回った。
• ヨガデータセットでは、PSDモデルは空間的一致性が高く、全身、上半身、腕、脚を正しく識別する強固な部品セグメンテーションを示した。
• 構造行列 S は、腕が上半身の一部であり、脚が全身の一部であるなどの階層的関係を正しく回復した。図13hおよび14hの可視化で確認された。
• モデルは、1つの潜在次元がボールを持つ攻撃選手に対応し、別の次元がボールそのもの、第3の次元がディフェンス選手に対応することを発見し、ボールとその制御者である選手との正しい動的関係を明らかにした。
• 将来のフレーム合成において、PSDモデルは、繰り返しペアフレームを入力として用いた場合、3DcVAEよりも高品質でアーチファクトの少ない予測を生成した。
• モデルは複数のシーケンスにわたる運動分布を正しく捉え、現実的で多様な将来のフレームを生成し、現実のダイナミクスを反映した。