[論文レビュー] Weakly Supervised Generative Network for Multiple 3D Human Pose Hypotheses

Chen Li, Gim Hee Lee|arXiv (Cornell University)|Aug 13, 2020

Human Pose and Action Recognition参考文献 33被引用数 14

ひとこと要約

本稿では、2次元画像1枚から複数の3次元人体ポーズ仮説を生成する弱教師付き深層生成ネットワークを提案する。提案手法は、KLダイバージェンス最小化により多モードの事後分布を近似するための提案分布をモデル化する。2次元再投影損失とGANに類似した事前分布に加え、多様性正則化を用いることで、2次元から3次元への対応関係が不要な状態でも、Human3.6M、MPII、MPI-INF-3DHPで最先端の性能を達成する。

ABSTRACT

3D human pose estimation from a single image is an inverse problem due to the inherent ambiguity of the missing depth. Several previous works addressed the inverse problem by generating multiple hypotheses. However, these works are strongly supervised and require ground truth 2D-to-3D correspondences which can be difficult to obtain. In this paper, we propose a weakly supervised deep generative network to address the inverse problem and circumvent the need for ground truth 2D-to-3D correspondences. To this end, we design our network to model a proposal distribution which we use to approximate the unknown multi-modal target posterior distribution. We achieve the approximation by minimizing the KL divergence between the proposal and target distributions, and this leads to a 2D reprojection error and a prior loss term that can be weakly supervised. Furthermore, we determine the most probable solution as the conditional mode of the samples using the mean-shift algorithm. We evaluate our method on three benchmark datasets -- Human3.6M, MPII and MPI-INF-3DHP. Experimental results show that our approach is capable of generating multiple feasible hypotheses and achieves state-of-the-art results compared to existing weakly supervised approaches. Our source code is available at the project website.

研究の動機と目的

• 単眼画像からの3次元人体ポーズ推定という逆問題に取り組み、深度の曖昧さにより複数の妥当な解が存在することを考慮する。
• 高価な2次元から3次元への対応関係を必要としない弱教師付き学習フレームワークを導入することで、強教師付き学習の限界を克服する。
• 2次元キーポイント観測と人間らしい構造に整合する、多様で現実的な3次元ポーズ仮説を生成する。
• 生成モデルにおけるモード崩壊を防ぐために、明示的な多様性促進損失を組み込む。
• Human3.6M、MPII、MPI-INF-3DHPといったベンチマークデータセットにおいて、弱教師付き手法の中で最先端の性能を達成する。

提案手法

• 2次元ポーズ入力を条件とする深層生成ネットワークを用いて、標準正規分布からサンプリングされた潜在変数を用いて提案分布をモデル化する。
• 2次元再投影誤差と事前分布項を組み合わせた損失を最適化することで、提案分布と未知のターゲット事後分布とのKLダイバージェンスを最小化する。
• 生成された3次元ポーズが人間らしく現実的であるように保証するため、最大平均差分（MMD）に基づく識別器を用いる。
• 生成された仮説におけるモード崩壊を防ぐために、追加の2つの損失、$/mathcal{L}_{\text{reg}}$ と $/mathcal{L}_{\text{rec}}$ を導入する。
• 生成されたサンプルの条件付きモードを、平均シフトアルゴリズムを用いて最も確率の高い3次元ポーズとして推定する。
• 潜在変数をゼロとする入力からの出力を用いて条件付きモードを近似する、時間効率の良い変種を提案する。

実験結果

リサーチクエスチョン

• RQ1 2次元-3次元対応関係のアノテーションが不要な状態でも、弱教師付きの深層生成モデルが複数の妥当な3次元人体ポーズ仮説を効果的に生成できるか？
• RQ2 弱教師付きの条件下で、1枚の2次元画像から多様な3次元ポーズの事後分布をどのように近似できるか？
• RQ3 多様性促進損失が、生成された3次元ポーズ仮説の質と多様性にどの程度寄与するか？
• RQ4 本手法は、MPII や MPI-INF-3DHP といった多様なシーンやデータセットにどの程度一般化できるか？
• RQ5 平均シフトアルゴリズムとゼロ潜在変数入力の近似は、生成された仮説から最も確率の高い3次元ポーズを効果的に特定できるか？

主な発見

• 提案手法は、Human3.6Mデータセットにおいて、最良の仮説（BH）設定で31.6 mmのMPJPEを達成し、既存の弱教師付き手法を上回った。
• 多様性正則化（$/mathcal{L}_{\text{reg}}$ と $/mathcal{L}_{\text{rec}}$）を含む完全なモデルは、標準偏差（STD）が77.4、STD-FPSが122.3を示し、生成されたポーズの多様性が非常に高いことを示している。
• 多様性損失を除去すると、STDは3.6に低下し、STD-FPSは4.8にまで下がり、多様性損失がモード崩壊の防止と多様性の促進において極めて重要な役割を果たしていることが確認された。
• 本モデルは、制約のない屋外シーンに対しても良好に一般化でき、MPI-INF-3DHPデータセットにおいてBH設定で85.0%のPCKを達成し、先行する弱教師付き手法を上回った。
• アブレーションスタディの結果、重み $ heta_{\text{reg}}$ を増加させることで多様性は向上するが、ある閾値を超えると精度が低下する傾向にあり、多様性と正確性のトレードオフが存在することが示された。
• MPIIにおける定性的な結果では、生成された3次元ポーズが多様であり、その2次元再投影が入力の2次元キーポイントとよく一致しており、複数解の一貫性が確認された。