[論文レビュー] BBoxMaskPose v2: Expanding Mutual Conditioning to 3D

Miroslav Purkrábek, Constantin Kolomiiets+1 more|arXiv (Cornell University)|Jan 21, 2026

Human Pose and Action Recognition被引用数 0

ひとこと要約

直接的な要約: BBoxMaskPose v2 (BMPv2) は self-improving ループに PMPose と SAM-pose2seg を追加し、標準および混雑したシーンで最先端の 2D 姿勢推定とセマンティックセグメンテーションを実現し、3D 姿勢推定を改善可能にします。 BMPv2+ はさらにループを回して高精度の収束を達成します。

ABSTRACT

Most 2D human pose estimation benchmarks are nearly saturated, with the exception of crowded scenes. We introduce PMPose, a top-down 2D pose estimator that incorporates the probabilistic formulation and the mask-conditioning. PMPose improves crowded pose estimation without sacrificing performance on standard scenes. Building on this, we present BBoxMaskPose v2 (BMPv2) integrating PMPose and an enhanced SAM-based mask refinement module. BMPv2 surpasses state-of-the-art by 1.5 average precision (AP) points on COCO and 6 AP points on OCHuman, becoming the first method to exceed 50 AP on OCHuman. We demonstrate that BMP's 2D prompting of 3D model improves 3D pose estimation in crowded scenes and that advances in 2D pose quality directly benefit 3D estimation. Results on the new OCHuman-Pose dataset show that multi-person performance is more affected by pose prediction accuracy than by detection. The code, models, and data are available on https://MiraPurkrabek.github.io/BBox-Mask-Pose/.

研究の動機と目的

• 混雑シーンでの 2D 姿勢推定を標準シーンの性能を損なうことなく改善する。
• PMPose と SAM-pose2seg を反復 BMP ループに統合して検出、姿勢、マスクを精練する。
• 高コストを抑えつつ信頼できる 2D プロンプトを用いて BMP を 3D 姿勢推定へ拡張する。
• 混雑シーンの新しいデータと解析を提供し、拡張版の OCHuman（OCHuman-Pose）も含める。

提案手法

• PMPose（ProbMaskPose）を導入し、姿勢推定とマスク条件付けと確率の較正を統一する。
• MaskPose を PMPose に置換し、マスクの精度を高めるために SAM ベースのマスク改良を SAM-pose2seg にアップグレードする。
• BMPv2+ を追加して PMPose と SAM-pose2seg を収束するまでループさせ、より高い精度を得る（コスト増大）。
• BMP 収束後に 2D マスク、ボックス、姿勢を用いて 3DPredictor を促して 3D 姿勢推定を実演する。
• 混雑シーンをよりよく評価するために、拡張された注釈を持つ OCHuman-Pose を開発・公開する。

実験結果

リサーチクエスチョン

• RQ1 PMPose は従来のトップダウン手法と比較して混雑したシーンの 2D 姿勢推定を改善できるか。
• RQ2 BMP ループ内で SAM-pose2seg と PMPose を統合することで、標準および混雑データセットにおける姿勢推定とインスタンスセグメンテーションの両方を強化できるか。
• RQ3 混雑した複数人場面における 2D 姿勢とマスクの質が、後続の 3D 姿勢推定へどのように影響するか。
• RQ4 より現実的なデータ（OCHuman-Pose）の拡張が検出と姿勢タスクの評価にどのような影響を与えるか。

主な発見

• BMPv2 は COCO の姿勢推定とセグメンテーションで 1.5 AP ポイント、OCHuman で 6 AP ポイントの最先端を超えた。
• BMPv2+ は OCHuman で 50 AP 以上、OCHuman-Pose で 80 AP 以上を達成し、これらデータセットで初の閾値を記録。
• PMPose は既存の非反復的な 2D 姿勢手法を上回り、混雑および標準シーンで反復的手法とのギャップを縮めた。
• SAM-pose2seg は従来の SAM プロンプトより高品質なセグメンテーションを生み出し、PMPose との統合により BMP ループ全体の性能を向上させる。
• BMPv2/PMPose からのより強力な 2D 推定は、難易度の高い複数人シーンで 3D 姿勢推定の質を大幅に向上させる。
• OCHuman-Pose は多人数のパフォーマンスが検出品質より姿勢予測精度に敏感であることを明らかにし、堅牢な 2D 姿勢モデリングの重要性を強調している。