[論文レビュー] View-Invariant Probabilistic Embedding for Human Pose

Jennifer J. Sun, Jiaping Zhao+4 more|arXiv (Cornell University)|Dec 2, 2019

Human Pose and Action Recognition参考文献 63被引用数 4

ひとこと要約

本論文では、3Dポーズを予測せずに、視点変化に対して不変な2Dキーポoinに基づく表現を学習する確率的視点不変ポーズ埋め込みモデル、Pr-VIPEを提案する。埋め込みを多変量正規分布としてモデル化することで、2Dから3Dへの射影の曖昧さに起因する入力の不確実性を捉え、視点間ポーズ検索において最先端の性能を達成するとともに、3Dの教師信号を一切用いずに2Dキーポイントのみで動作するアクション認識やビデオアライメントの応用を可能にする。

ABSTRACT

Depictions of similar human body configurations can vary with changing viewpoints. Using only 2D information, we would like to enable vision algorithms to recognize similarity in human body poses across multiple views. This ability is useful for analyzing body movements and human behaviors in images and videos. In this paper, we propose an approach for learning a compact view-invariant embedding space from 2D joint keypoints alone, without explicitly predicting 3D poses. Since 2D poses are projected from 3D space, they have an inherent ambiguity, which is difficult to represent through a deterministic mapping. Hence, we use probabilistic embeddings to model this input uncertainty. Experimental results show that our embedding model achieves higher accuracy when retrieving similar poses across different camera views, in comparison with 2D-to-3D pose lifting models. We also demonstrate the effectiveness of applying our embeddings to view-invariant action recognition and video alignment. Our code is available at https://github.com/google-research/google-research/tree/master/poem.

研究の動機と目的

• 異なるカメラの視点に対して一貫性を保つ、コンパクトな視点不変埋め込み空間を学習すること。
• 2Dポーズ投影における本質的な曖昧さに対処するため、確率的埋め込みを用いて入力の不確実性をモデル化すること。
• 3Dの真値や画像コンテキストを一切使用せず、2Dキーポイント入力のみで正確なポーズ検索および下流のビジョンタスク（例：アクション認識、ビデオアライメント）を可能にすること。
• 2Dキーポイント埋め込みのみで、明示的な3Dポーズ予測や剛体アライメントの後処理を必要とせずに視点不変性を達成できることを示すこと。

提案手法

• モデルは深層ニューラルネットワークを用いて、2Dキーポイント座標を多変量正規分布（平均と共分散）で定義される確率的埋め込み空間にマップする。
• 埋め込み損失は、ハードネガティブマイニングを用いたコントラスト学習により最適化され、異なる視点からの類似ポーズが埋め込み空間で近接するように促進される。
• トレーニングデータは、3Dポーズを透視投影により合成することで多視点2Dポーズを生成し、多様な視点への一般化を向上させる。
• モデルは、Human3.6M や 3DHP のようなデータセットからの2Dキーポイント検出結果を用いて、エンドツーエンドで学習され、推論時には画像レベルの監視や3D真値を必要としない。
• 確率的定式化により、モデルは不確実性を学習可能である：埋め込みの分散が大きいほど、2Dポーズの3D射影の曖昧さが高くなる。
• 下流タスクでは、埋め込み空間におけるマハラノビス距離を用いて類似度を計算し、効率的な検索とアライメントを可能にする。

実験結果

リサーチクエスチョン

• RQ1 3Dポーズを予測せずに、2Dポーズ埋め込みのみで視点不変の類似度を達成できるか？
• RQ2 2Dから3Dへの射影の曖昧さに起因する入力の不確実性を、埋め込み空間で効果的にモデル化できるか？
• RQ3 確率的埋め込み定式化は、決定的埋め込みと比較して視点間ポーズ検索の性能を向上させるか？
• RQ4 学習された埋め込みは、屋外データや実世界のデータに一般化可能であり、効果的なアクション認識やビデオアライメントを可能にするか？

主な発見

• Pr-VIPEは、3D真値を一切使用せず、2Dキーポイント検出結果のみでH3.6M評価サブセットで75.2%のHit@1を達成し、完全に教師ありのEpipolarPose（72.7% Hit@1）を上回る性能を示した。
• 本モデルは、多様な被験者やカメラアングルを持つ3DHPや屋外データのホールドアウトセットにおいても、未観測のポーズや視点に対して良好な一般化性能を示した。
• 確率的埋め込み定式化は入力の曖昧さと相関する：2Dポーズの3D射影の曖昧さが大きい場合、埋め込みの分散も高くなることが観測された。
• Pr-VIPEはPenn Actionデータセットで効果的なビデオアライメントを実現し、明示的な時系列アライメントなしに、異なる視点からのアクション動画をポーズ埋め込みの一致によって同期可能にした。
• 2Dから3Dにポーズをリフトするモデルと比較して、本モデルは優れた検索精度を達成しており、また、クエリとインデックスペア間の剛体3Dアライメントを必要としない点で優位性を示した。
• 定性的な結果から、高信頼度の検索結果は、大きな視点変化や部分的遮蔽に対しても視覚的に正確であることが確認され、モデルのロバスト性が裏付けられた。