[論文レビュー] Multi-hypothesis 3D human pose estimation metrics favor miscalibrated distributions

Paweł A. Pierzchlewicz, R. Cotton+2 more|arXiv (Cornell University)|Oct 20, 2022

Human Pose and Action Recognition被引用数 5

ひとこと要約

この論文は、多仮説3次元人体ポーズ推定においてminMPJPEを最小化しても、平均性能が良好であるにもかかわらず確率分布が不正確になることを特定している。これを解決するために、生成的流れに基づく条件付きグラフ正規化フロー（cGNF）を提案する。cGNFは敵対的訓練を必要とせず、条件付きおよび周辺分布を同時に推定できる、良好にキャリブレーションされたモデルであり、遮られた関節における最先端のminMPJPE性能を達成しながら、優れたキャリブレーションを維持している。

ABSTRACT

Due to depth ambiguities and occlusions, lifting 2D poses to 3D is a highly ill-posed problem. Well-calibrated distributions of possible poses can make these ambiguities explicit and preserve the resulting uncertainty for downstream tasks. This study shows that previous attempts, which account for these ambiguities via multiple hypotheses generation, produce miscalibrated distributions. We identify that miscalibration can be attributed to the use of sample-based metrics such as minMPJPE. In a series of simulations, we show that minimizing minMPJPE, as commonly done, should converge to the correct mean prediction. However, it fails to correctly capture the uncertainty, thus resulting in a miscalibrated distribution. To mitigate this problem, we propose an accurate and well-calibrated model called Conditional Graph Normalizing Flow (cGNFs). Our model is structured such that a single cGNF can estimate both conditional and marginal densities within the same model - effectively solving a zero-shot density estimation problem. We evaluate cGNF on the Human~3.6M dataset and show that cGNF provides a well-calibrated distribution estimate while being close to state-of-the-art in terms of overall minMPJPE. Furthermore, cGNF outperforms previous methods on occluded joints while it remains well-calibrated.

研究の動機と目的

• サンプルベースの指標（minMPJPE）を最適化することで、多仮説3次元ポーズ推定において確率分布が不正確になる理由を調査すること。
• minMPJPEを最適化したモデルは、平均予測が正確であっても、過信ぎみの不正確な不確実性推定を生じることを示すこと。
• 3次元ポーズ推定において、高品質なminMPJPEと良好にキャリブレーションされた不確実性推定を両立する手法を開発すること。
• 別個の事前分布・事後分布ネットワークや敵対的訓練を必要とせず、条件付きおよび周辺分布を統合的に推定するモデルを導入すること。
• 遮られた関節における性能を評価すること。ここでは不確実性が最も高く、キャリブレーションが最も重要となる。

提案手法

• 著者らは、2次元キーポイントを入力として与えたときの3次元ポーズの条件付き密度を学習する正規化フローに基づくモデル、条件付きグラフ正規化フロー（cGNF）を提案する。
• cGNFは、1つのモデル内で条件付き事後分布と周辺事前分布の両方を同時に推定し、別個のネットワークや敵対的訓練を不要にする。
• モデルは負の対数尤度（NLL）損失を用いて訓練され、確率密度を直接最適化することで、良好にキャリブレーションされた不確実性推定を促進する。
• キャリブレーションを損なわずminMPJPE性能を向上させるために、著者らは予測が真値ポーズと一致するよう促すサンプルベースの損失項 $\mathcal{L}_{\text{sample}}$ を導入する。
• モデルは200回のサンプリングで推論を行うHuman 3.6Mデータセット（遮られた関節を含むH36MAサブセット）を用いて評価される。
• キャリブレーションは期待キャリブレーション誤差（ECE）を用いて評価され、minMPJPEおよびECE指標を用いて最先端のベースラインと比較される。

実験結果

リサーチクエスチョン

• RQ1 多仮説3次元ポーズ推定においてminMPJPEを最小化すると、確率分布が不正確になるか？
• RQ2 負の対数尤度損失で訓練したモデルは、minMPJPE最適化モデルよりも優れたキャリブレーションを達成できるか？ ただし、競争力のある精度を維持できるか？
• RQ3 敵対的訓練を必要とせず、1つの正規化フロー構造内で条件付きおよび周辺分布を学習することは可能か？
• RQ4 提案されたcGNFモデルは、不確実性が最も高く、キャリブレーションが最も重要となる遮られた関節において、どのように性能を発揮するか？
• RQ5 サンプルベースの損失項を追加することで、尤度最適化モデルのminMPJPE性能は向上するが、キャリブレーションは著しく劣化するか？

主な発見

• minMPJPEを最適化したモデルは、低平均誤差を達成しているにもかかわらず、不正確な確率分布を生じる。これは、不確実性推定が過信ぎみであることを示している。
• NLL損失で訓練したガウスモデルは良好にキャリブレーションされている（ECE = 0.07）が、minMPJPE性能は低い（60.1 mm）。一方、minMPJPEを最適化したガウスモデルは不正確（ECE = 0.42）である。
• cGNFモデルはminMPJPEが57.5 mm、ECEが0.08を達成し、精度とキャリブレーションの両面で優れたバランスを示している。
• 遮られた関節を含むH36MAサブセットでは、cGNFはminMPJPEが47.0 mm、ECEが0.07を達成し、両指標で先行手法を上回っている。
• $\mathcal{L}_{\text{sample}}$ 損失を追加することで、minMPJPEは53.0 mmに向上し、ECEはわずかに0.08に増加するにとどまり、精度向上に伴うキャリブレーションの著しい劣化は見られない。
• モデル容量を向上させることで、minMPJPEはさらに向上（xlargeバージョンで48.5 mm）するが、キャリブレーションは劣化（ECE = 0.23）する。これは、性能と信頼性の間のトレードオフを示している。