[論文レビュー] Unsupervised Keypoint Learning for Guiding Class-Conditional Video Prediction

Yunji Kim, Seonghyeon Nam+2 more|arXiv (Cornell University)|Oct 4, 2019

Human Pose and Action Recognition被引用数 30

ひとこと要約

本論文は、1枚の画像とアクションクラスを入力として、動きを1枚の画像とアクションクラスから予測されたキーポイントの系列としてモデル化し、将来のフレーム生成のための画像変換をガイドする非教師ありキーポイント学習手法を提案する。本手法は、トレーニング中に予測されたキーポイントを仮ラベルとして用いることで、人間がラベル付けしたキーポイントラベルが一切不要な状態で、最先端の視覚的品質を達成する。

ABSTRACT

We propose a deep video prediction model conditioned on a single image and an action class. To generate future frames, we first detect keypoints of a moving object and predict future motion as a sequence of keypoints. The input image is then translated following the predicted keypoints sequence to compose future frames. Detecting the keypoints is central to our algorithm, and our method is trained to detect the keypoints of arbitrary objects in an unsupervised manner. Moreover, the detected keypoints of the original videos are used as pseudo-labels to learn the motion of objects. Experimental results show that our method is successfully applied to various datasets without the cost of labeling keypoints in videos. The detected keypoints are similar to human-annotated labels, and prediction results are more realistic compared to the previous methods.

研究の動機と目的

• 構造のない多様なシーンにおいて、1枚の画像とアクションクラスから、現実的で高品質な将来の動画フレームを生成する課題に対処すること。
• ぼんやりとした出力や、未知のシーンで失敗するブラックボックス型の動画予測モデルの限界を克服すること。
• 高価な人間によるキーポイントラベルの必要性を排除し、非教師ありの方法でキーポイント検出器を学習すること。
• キーポイントによる動きの分離と、画像変換によるコンテンツの分離により、動画予測の品質を向上させ、時間的整合性と現実性を向上させること。

提案手法

• 実際の動画シーケンスから予測されたキーポイントを仮ラベルとして用い、非教師ありの方法でキーポイント検出器を学習させ、人間のラベルなしでオブジェクト固有のキーポイントを検出可能にする。
• 検出されたキーポイントの動きを系列としてモデル化し、時間ステップごとの将来的なオブジェクトポーズを予測する。
• キーポイントガイド付きの画像変換ネットワークが、予測されたキーポイント系列に従って入力画像を変換し、背景の文脈を保持したまま、前景オブジェクトを変形することで将来のフレームを生成する。
• モデルの複雑さを軽減し、変換品質を向上させるために、背景マスク生成モジュールを導入する。
• 敵対的損失と再構成損失を用いて、キーポイント検出器と動き生成器を同時に最適化するエンドツーエンドの学習により、ネットワークを訓練する。
• 入力画像とアクションクラスの両方を条件として用いることで、多様で現実的な将来の動画シーケンスをクラス条件付きで生成可能になる。

実験結果

リサーチクエスチョン

• RQ1 非教師ありキーポイント検出は、人間がラベル付けしたキーポイントが不要な状態で、クラス条件付き動画予測の現実性と多様性を向上させることができるか？
• RQ2 ピクセルレベルのエンドツーエンドの動画生成と比較して、キーポイントの系列として動きをモデル化することは、視覚的品質と一般化性能において優れているか？
• RQ3 参照キーポイントとターゲットキーポイントの類似関係を組み込むことで、キーポイント検出と画像変換の性能がどの程度向上するか？
• RQ4 背景マスク生成モジュールを導入することで、シーンモデリングの複雑さを軽減し、変換フレームの品質を向上させることができるか？
• RQ5 複数の同サイズオブジェクトや、オブジェクトの向きが曖昧な入力画像に対して、本手法はどの程度頑健か？

主な発見

• Mechanical Turkの調査において、本手法は、ラベルなしでトレーニングされたにもかかわらず、すべてのベースラインを上回るユーザー評価を達成し、視覚的品質と動きの妥当性で最高の順位を獲得した。
• Penn ActionおよびUCF-101データセットにおいて、最先端の性能を達成し、さまざまなアクションクラスにおいて現実的で多様な将来のフレームを生成した。
• 構成要因のアブレーション実験では、参照キーポイントと背景マスク生成の導入が、キーポイント検出の正確性と画像変換品質の両方を顕著に向上させた。
• 再トレーニングやファインチューニングなしで、多様なデータセットに一般化できることを示し、未学習のシーンやアクションに対しても強力なゼロショット適用性を示した。
• 失敗事例の主な原因は、複数の同サイズオブジェクトに対するキーポイント検出器の誤検出や、方向に依存しない検出による逆転した動きであり、複雑または曖昧なシーンにおける限界を示している。