[論文レビュー] End-to-End Trainable Multi-Instance Pose Estimation with Transformers

Lucas Stoffl, Maxime Vidal+1 more|arXiv (Cornell University)|Mar 22, 2021

Human Pose and Action Recognition参考文献 47被引用数 11

ひとこと要約

本稿では、1回の順伝播で複数人のキーポintsのセットを直接予測する、トランスフォーマーに基づくエンコーダデコーダアーキテクチャを用いたエンド・トゥ・エンドで学習可能なマルチインスタンスポーズ推定モデルPOETを提案する。ポーズ推定を新規のセットベース損失関数とバイナリマッチングを用いたセット予測問題として定式化することで、COCOで最先端の精度を達成するとともに、従来のトップダウンおよびボトムアップ手法よりも高速かつパラメータ効率が良く、転移学習により動物のポーズ推定にも良好に一般化する。

ABSTRACT

We propose an end-to-end trainable approach for multi-instance pose estimation, called POET (POse Estimation Transformer). Combining a convolutional neural network with a transformer encoder-decoder architecture, we formulate multiinstance pose estimation from images as a direct set prediction problem. Our model is able to directly regress the pose of all individuals, utilizing a bipartite matching scheme. POET is trained using a novel set-based global loss that consists of a keypoint loss, a visibility loss and a class loss. POET reasons about the relations between multiple detected individuals and the full image context to directly predict their poses in parallel. We show that POET achieves high accuracy on the COCO keypoint detection task while having less parameters and higher inference speed than other bottom-up and top-down approaches. Moreover, we show successful transfer learning when applying POET to animal pose estimation. To the best of our knowledge, this model is the first end-to-end trainable multi-instance pose estimation method and we hope it will serve as a simple and promising alternative.

研究の動機と目的

• 後処理や2段階ネットワークを不要とするエンド・トゥ・エンドで学習可能なマルチインスタンスポーズ推定手法の開発。
• 従来のトップダウンおよびボトムアップアプローチの限界、すなわちエンド・トゥ・エンドで学習できないこと、複雑な後処理を要することの解決。
• トランスフォーマーとバイナリマッチングを用いてマルチインスタンスポーズ推定を直接的なセット予測問題として定式化。
• COCOのような困難なベンチマークで高い精度を維持しつつ、推論速度とモデル効率の向上。
• 少数ショットおよびドメインシフトの設定（例：動物のポーズ推定）におけるモデルの転移性の実証。

提案手法

• POETは畳み込みニューラルネットワークバックボーンとトランスフォーマーのエンコーダデコーダアーキテクチャを組み合わせ、1回の順伝播で複数人のポーズを予測する。
• 各予測されたポーズは、中心座標、各キーポイントの相対オフセット、可視性スコアを含むベクトルとして表現される。
• 予測を監視するために、キーポイント回帰損失、可視性損失、クラス損失を組み合わせた新規のセットベースのグローバル損失関数を用いる。
• トレーニング中に予測されたポーズと真値のポーズの間でバイナリマッチングを適用し、最も近い予測を真のインスタンスに割り当てる。
• 損失関数は微分可能であり、エンド・トゥ・エンドのバックプロパゲーションを可能にし、個々の人物と画像コンテキストの共同表現を学習可能にする。
• アーキテクチャはDETRにインspiredされているが、学習可能な中心表現と相対オフセット予測を導入することでキーポイント予測に適応されている。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づくアーキテクチャは、後処理や2段階ネットワークを必要とせずに、マルチインスタンスポーズ推定をエンド・トゥ・エンドで学習可能か？
• RQ2 バイナリマッチングを用いたセットベース損失は、標準的な回帰損失と比較して、精度と一般化性能をどのように向上させるか？
• RQ3 COCOで事前学習したモデルが、限られたデータで動物のポーズ推定という異なるドメインにどの程度一般化可能か？
• RQ4 中心損失とデルタ損失のコンポonentがキーポイント局在精度に与える影響は？
• RQ5 画像内の人数に応じて、本モデルの推論速度は従来のトップダウンおよびボトムアップ手法と比較してどのように変化するか？

主な発見

• POETはCOCOキーポイントバリデーションセットで48.5 mAPを達成し、より高い入力解像度でさえもベースラインモデルを上回った。
• 軽量なボトムアップおよびトップダウン手法よりも高速であり、画像内の人数に依存しない推論速度を示した。
• COCOでの事前学習から転移学習を適用することで、MacaquePoseで77.1 mAPを達成し、ResNet-50 + アソシエイティブエムベディングベースラインを著しく上回った。
• アブレーションスタディの結果、中心損失とデルタ損失コンポーネントが極めて重要であり、完全な損失構成が最高のパフォーマンスをもたらした。
• 絶対座標を除く相対オフセットと中心損失でのみ学習したモデルは、250エポック後に35.5 mAPにとどまり、完全なモデルの48.5 mAPには及ばなかった。
• アテンション可視化により、トランスフォーマーが個々の人物間の関係性とグローバルな画像コンテキストに注目していることが示され、ポーズグループ化の推論能力を裏付けた。