[論文レビュー] Multi-Person Pose Estimation with Local Joint-to-Person Associations

Umar Iqbal, Jüergen Gall|arXiv (Cornell University)|Aug 30, 2016

Human Pose and Action Recognition参考文献 29被引用数 22

ひとこと要約

この論文は、人物ごとに局所的な最適化問題として関節から人物への関連付けを定式化し、切り抜いた画像領域に対して整数線形計画法（ILP）を用いることで、高速かつ高精度な多人数ポーズ推定手法を提案する。MPII多人数ポーズデータセットにおいて最先端の精度を達成するとともに、グローバルな関連付けではなく局所的な関連付けを採用することで、従来手法と比較して6,000〜19,000倍高速である。

ABSTRACT

Despite of the recent success of neural networks for human pose estimation, current approaches are limited to pose estimation of a single person and cannot handle humans in groups or crowds. In this work, we propose a method that estimates the poses of multiple persons in an image in which a person can be occluded by another person or might be truncated. To this end, we consider multi-person pose estimation as a joint-to-person association problem. We construct a fully connected graph from a set of detected joint candidates in an image and resolve the joint-to-person association and outlier detection using integer linear programming. Since solving joint-to-person association jointly for all persons in an image is an NP-hard problem and even approximations are expensive, we solve the problem locally for each person. On the challenging MPII Human Pose Dataset for multiple persons, our approach achieves the accuracy of a state-of-the-art method, but it is 6,000 to 19,000 times faster.

研究の動機と目的

• 人物が切断されたり重なったりする混雑または遮蔽されたシーンにおける多人数ポーズ推定の課題に対処すること。
• 巨大なグラフィカルモデルにおけるグローバルな関節-人物関連付けの計算不能性（NP困難）とその極めて遅い実行速度を克服すること。
• 実行時間の短縮と高い精度を維持しながら、多人数ポーズ推定の実用的かつリアルタイム応用を可能にすること。
• グローバルな関連付け問題を、各人物ごとに独立した局所的最適化タスクに分離することで、計算効率を向上させつつも耐障害性を損なわないようにすること。
• 事前学習済みの人物検出器とCNNベースの関節検出を組み合わせた局所的関連付けが、最小限の計算コストで競争力のある性能を達成できることを示すこと。

提案手法

• 各人物の中心に注目し、事前学習済みの人物検出器を用いて画像内の候補領域（ROIs）を生成する。
• 各ROIに対して、畳み込みニューラルネットワーク（CNN）を用いてすべての関節候補を検出し、各キーポイントのヒートマップを出力する。
• 各ROI内での検出された関節候補に対して完全連結グラフを構築し、すべての可能な関節-人物関連付けをモデル化する。
• 各ROIごとに、関節-人物関連付けと外れ値検出を整数線形計画法（ILP）として定式化し、最適なポーズ構成を特定する。
• グラフィカルモデルによる最適化のための依存を避けるために、CNNを直接用いて関節ラベル付けと非最大抑制を実行する。
• 全人物にわたるグローバルな最適化ではなく、各人物のROIごとに局所的にILP問題を解くことで、計算複雑性を著しく低減する。

実験結果

リサーチクエスチョン

• RQ1 切り抜いた画像領域における局所的関節-人物関連付けは、多人数ポーズ推定においてグローバル関連付けと同等の精度を達成できるか？
• RQ2 グローバルな関連付けではなく局所的な関連付けを採用することで、実行時間の短縮が図られるとともに、遮蔽や切断に対して耐性を保てるか？
• RQ3 局所的関連付けの性能は、最先端のグローバル手法と比較して、精度と推論速度の両面で優れているか？
• RQ4 本フレームワークにおける人物検出器の品質が、最終的なポーズ推定精度にどの程度影響を及えるか？
• RQ5 精度を損なわず、困難なベンチマークでも高い性能を発揮する、軽量で効率的なリアルタイム多人数ポーズ推定手法を開発可能か？

主な発見

• 提案手法は、MPII多人数ポーズデータセットの288枚画像サブセットにおいて、mAP 54.7%を達成し、DeepCut（53.5%）を上回る精度を示した。一方、1枚あたり10秒で推論が可能で、DeepCutの57,995秒と比較して5,799.5倍高速であった。
• 1つの関節候補（N=1）のみを用いる場合、1枚あたり3秒で推論可能で、mAP 53.1%を達成し、DeepCutと比較して19,000倍以上高速であった。
• 2,000枚以上の画像からなる全テストセットでは、mAP 43.1%を達成したが、真値の人物バウンディングボックス（GT ROIs）を使用すると62.2%に向上した。これは検出品質の影響を示している。
• 全テストセットでは、DeeperCutと比較して50倍高速（10秒 vs. 485秒/枚）であり、N=1の場合には160倍高速であった。
• 真値の体幹位置を用いることで、mAPは43.1%から62.2%に向上した。これは、より優れた人物検出器を用いることでさらなる向上が可能であることを示している。
• 同じ検出入力を使用した場合、提案手法はDeepCutおよびDeeperCutの両方を精度面で上回り、GT ROIsを用いた場合、同時期の手法[6]と比較しても顕著に優れた性能を示した。