[論文レビュー] Differentiable Multi-Granularity Human Representation Learning for Instance-Aware Human Semantic Parsing

Tianfei Zhou, Wenguan Wang+3 more|arXiv (Cornell University)|Mar 8, 2021

Human Pose and Action Recognition参考文献 28被引用数 5

ひとこと要約

本稿では、カテゴリレベルのセマンティックセグメンテーション、Dense-to-Sparse Projection Field (DSPF) を通じたボディから関節への投影、および微分可能キーポイント関連付けを統合的に学習する、微分可能でエンドツーエンドのボトムアップフレームワークを提案する。粗いから細かいDSPF推定と残留微調整、および学習可能な特徴ワープを活用し、微分可能なバイパーティットマッチングソルバーを用いることで、特に混雑したシーンにおいて、トップダウンベースラインと比較して著しく高速な推論を達成する、最先端の性能を実現する。

ABSTRACT

To address the challenging task of instance-aware human part parsing, a new bottom-up regime is proposed to learn category-level human semantic segmentation as well as multi-person pose estimation in a joint and end-to-end manner. It is a compact, efficient and powerful framework that exploits structural information over different human granularities and eases the difficulty of person partitioning. Specifically, a dense-to-sparse projection field, which allows explicitly associating dense human semantics with sparse keypoints, is learnt and progressively improved over the network feature pyramid for robustness. Then, the difficult pixel grouping problem is cast as an easier, multi-person joint assembling task. By formulating joint association as maximum-weight bipartite matching, a differentiable solution is developed to exploit projected gradient descent and Dykstra's cyclic projection algorithm. This makes our method end-to-end trainable and allows back-propagating the grouping error to directly supervise multi-granularity human representation learning. This is distinguished from current bottom-up human parsers or pose estimators which require sophisticated post-processing or heuristic greedy algorithms. Experiments on three instance-aware human parsing datasets show that our model outperforms other bottom-up alternatives with much more efficient inference.

研究の動機と目的

• ボトムアップでエンドツーエンドの方法により、インスタンス認識人体セマンティックパースの課題に取り組むこと。
• ボトムアップポーズ推定におけるヒューリスティックな後処理やグリーディ関連付けの制限を克服し、関節グループ化に対する微分可能な監視を可能にすること。
• セマンティックパーツと人体関節を明示的に関連付ける密度からスパarsityへの変換フィールド（DSPF）を学習することで、遮蔽やポーズの変化に対する耐性を高めること。
• 人物数に依存しない効率的でスケーラブルな推論を可能にし、人物数に比例して増加するトップダウン手法とは対照的にすること。
• 微分可能なフレームワーク内で、細粒度のセマンティック表現とスパースな骨格構造の両方を統合的に学習すること。

提案手法

• 各人体ピクセルから最も近いインスタンス関節へのオフセットを符号化する、学習可能な2次元ベクトル場（Dense-to-Sparse Projection Field: DSPF）を導入し、セマンティックと関節の明示的関連付けを可能にする。
• 特徴ピラミッド上で粗いから細かいDSPF推定戦略を採用：深層で低解像度の特徴から得られる粗い予測を、バイリニアアップサンプリングと残留学習を用いて残差で精錬する。
• クロスレイヤー特徴の整合性を高め、特徴分布のずれを低減し、DSPF回帰の精度を向上させるために、学習可能な特徴ワープを組み込む。
• 勾配降下とDykstraのサイクル射影を用いた、キーポイント関連付けのための微分可能な最適化手法を提案し、グループ化誤差のバックプロパゲーションを可能にする。
• 関節関連付けの最適化目的として最大重みバイパーティットマッチングを用い、微分可能問題に再定式化することで、エンドツーエンド学習を支援する。
• セマンティックセグメンテーション、DSPF回帰、微分可能なマッチングのすべてのモジュールを、完全畳み込み型でエンドツーエンドで訓練可能な1つのネットワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 後処理に依存せずに、インスタンス認識人体セマンティックパースとマルチペルソンポーズ推定を、微分可能でエンドツーエンドのフレームワークで同時に最適化できるか？
• RQ2 直接回帰と比較して、粗いから細かい、残留ベースのDSPF推定は、遮蔽やボディの変化に対する耐性をどのように向上させるか？
• RQ3 微分可能な関節関連付けは、グリーディまたはヒューリスティックなマッチング戦略と比較して、ポーズ推定とパース精度の両面でどの程度優れているか？
• RQ4 特に多くの人物がいるシーンにおいて、ボトムアップでエンドツーエンドのアプローチは、トップダウン手法よりも推論が速いか？
• RQ5 クロスレイヤー特徴の整合性と残留微調整は、DSPF予測の安定性と正確性にどのように寄与するか？

主な発見

• 提案手法は、MHP v2の検証セットでAP${}_{50}^{p}$ = 38.9を達成し、先行するボトムアップ手法を上回り、インスタンス認識人体パース分野で最先端の性能を示した。
• 微分可能な関節関連付けを用いることで、mAP poseは65.8に達し、グリーディマッチングベースライン（63.9～64.3）と比較して顕著な向上を確認した。
• アブレーションスタディの結果、粗いから細かい推論、残留微調整、学習可能なワープの組み合わせにより、ベースライン（35.5 → 38.9）からAP${}_{50}^{p}$が3.4ポイント向上した。各モジュールの有効性が裏付けられた。
• モデルは画像内の人物数にかかわらず一定の推論時間を維持する一方、トップダウンモデルは人物数に比例して増加する。提案手法はMHP v2においてM-CE2PおよびP-RCNNと比較して2～3倍速い。
• 定性的な結果から、遮蔽、混雑したシーン、極端なポーズといった困難な状況に対しても、優れた一般化性能を示し、正確なインスタンスレベルのパースと関節関連付けが可能である。
• 実行時間解析により、完全畳み込みアーキテクチャが効率的でスケーラブルな推論を可能にし、リアルタイムおよび実用的デプロイメントに適していることが確認された。