[論文レビュー] Multi-Person Pose Estimation via Column Generation

Shaofei Wang, Chong Zhang+3 more|arXiv (Cornell University)|Sep 18, 2017

Human Pose and Action Recognition参考文献 14被引用数 3

ひとこと要約

本稿では、局所的パーツグループ化と拡張木を用いたグローバルなポーズモデリングからなる二段階階層構造を組み合わせた、新しい整数線形計画法（ILP）定式化を提案する。さらに、独自の列生成アルゴリズムを用いる。この手法はMPIIベンチマークで最先端の精度を達成し、特に手首や足首といった困難なボディパーツの局所化において、先行研究を上回る性能を示す。一方で、より単純なエッジ構造と純粋なPythonコードを採用しているにもかかわらず、[12] よりも100倍高速で、[15] よりもより正確である。

ABSTRACT

We study the problem of multi-person pose estimation in natural images. A pose estimate describes the spatial position and identity (head, foot, knee, etc.) of every non-occluded body part of a person. Pose estimation is difficult due to issues such as deformation and variation in body configurations and occlusion of parts, while multi-person settings add complications such as an unknown number of people, with unknown appearance and possible interactions in their poses and part locations. We give a novel integer program formulation of the multi-person pose estimation problem, in which variables correspond to assignments of parts in the image to poses in a two-tier, hierarchical way. This enables us to develop an efficient custom optimization procedure based on column generation, where columns are produced by exact optimization of very small scale integer programs. We demonstrate improved accuracy and speed for our method on the MPII multi-person pose estimation benchmark.

研究の動機と目的

• オクルージョン、可変的なボディ構成、人物数の未知性といった課題に取り組む。
• 手首や足首のように、既存手法で頻繁に誤検出が生じる困難なボディパーツの局所化精度を向上させる。
• ポーズモデルにおける密なペアワイズ相互作用に起因する計算負荷を回避する、より効率的な最適化フレームワークを開発する。
• 構造化された変数設計を通じて、非最大抑制（NMS）をポーズ推定モデルに自然に統合する。
• 効率的な列生成を備えた良好に構築されたILP定式化が、優れたスピード・アキュラシーのトレードオフを達成できることを示す。

提案手法

• 局所的割り当てがパーツごとの複数の検出結果をグループ化する二段階の整数線形計画法（ILP）定式化を採用。グローバルなポーズは拡張木構造を用いて解剖学的整合性を強制する。
• 列生成を用いてILPを解き、価格設定サブプロブレムは木構造のポーズモデル上で動的計画法により解く。これにより、効率的な列生成が可能になる。
• 小規模な正確な整数計画問題を用いて列を生成することで、ヒューリスティックな緩和に依存せずに高品質な解を得ることを保証する。
• 異なる人物の非グローバルな検出結果間のノイズの多いペアワイズ相互作用を除外するコスト関数を導入。これにより、局所化のロバストネスが向上する。
• 必要に応じてサイズ3のオッズ集合不等式を用いてLP緩和をタイトにするが、通常は終了時点で直接整数解が得られる。
• 検出数の少ないポーズを抑えるために、ヒューリスティックな重み ω = 30 を用いる。

実験結果

リサーチクエスチョン

• RQ1 構造化された局所的およびグローバルコンponentを備えた二段階ILP定式化は、完全に接続されたモデルと比較して、多人数ポーズ推定の精度を向上させることができるか？
• RQ2 木構造のポーズモデル上で動的計画法に基づく列生成は、標準的なILPソルバーと比較して、より高速かつ正確な推論を可能にするか？
• RQ3 非グローバルな検出結果間のノイズの多いペアワイズ相互作用を除外することで、手首や足首といった検出が難しいボディパーツの局所化が向上するか？
• RQ4 構造化モデルは、非最大抑制のような後処理の必要性をどの程度低減できるか？
• RQ5 最近の最先端手法[15]と比較して、本手法は特に困難なボディパーツにおいて、スピードとアキュラシーの両面で優れているか？

主な発見

• 提案手法はMPII多人数ポーズ推定ベンチマークで79.1のmAPを達成し、[15]（78.5）および[12]（78.8）を上回った。
• 困難なパーツのAPが向上：手首は70.1（[15]の68.6と比較）、足首は66.6（[15]の65.2と比較）。
• より単純なエッジ構造（少ないペアワイズ接続）を採用しているにもかかわらず、完全に接続されたモデルを用いた[12]および[15]よりも高い精度を達成した。
• 純粋なPythonで実装されており並列化なしにもかかわらず、[12]の100倍高速で、[15]の10倍高速に動作した。
• LP緩和は通常、追加のタイトニングなしに整数解を出力するため、定式化の強い整数性の性質が示された。
• 左股関節から左肩、右股関節から右肩、両肩から頭への3つの追加エッジを追加すると、mAPは78.8から79.1に向上し、実行時間への影響は無視できるほど小さい。