[論文レビュー] Joint Training of a Convolutional Network and a Graphical Model for Human Pose Estimation

Jonathan Tompson, Arjun Jain+2 more|arXiv (Cornell University)|Jun 11, 2014

Human Pose and Action Recognition参考文献 31被引用数 972

ひとこと要約

本稿では、モノクロナル画像における人体ポーズ推定を向上させるために、部分検出に深層畳み込みニューラルネットワーク（ConvNet）と、マークフ・ランダムフィールド（MRF）にインspiredされた空間モデルを統合する共同学習フレームワークを提案する。両モジュールをエンド・トゥ・エンドで訓練することで、構造的事前知識とマルチスケール特徴量を活用し、FLICおよびLSPデータセットにおいて、最大12%の検出精度向上を達成し、最先端の性能を実現した。

ABSTRACT

This paper proposes a new hybrid architecture that consists of a deep Convolutional Network and a Markov Random Field. We show how this architecture is successfully applied to the challenging problem of articulated human pose estimation in monocular images. The architecture can exploit structural domain constraints such as geometric relationships between body joint locations. We show that joint training of these two model paradigms improves performance and allows us to significantly outperform existing state-of-the-art techniques.

研究の動機と目的

• 制約のないモノクロナル画像における関節可動部のポーズ推定の課題に対処すること。ここでは、隠蔽、変形、複雑な外観が関節の正確な局所化を妨げる。
• 従来のディープラーニングモデルが部分間の依存関係を明示的にモデル化しないことに対し、幾何的関係（身体関節間の関係）などの構造的事前知識を統合すること。
• ConvNet部分検出器と空間的推論モデルを同時に最適化する統合型の訓練フレームワークを開発し、より高いロバスト性と精度を実現すること。
• 空間モデルにおけるメッセージパッシングにインspiredされた推論が、バックプロパゲーションを介して微分可能であり、ディープラーニングパイプライン内で訓練可能であることを示すこと。

提案手法

• 重複する受容野を持つマルチスケールConvNetを用い、各画素ごとのヒートマップを生成することで、キーポイント位置の尤もらしさを示す。
• ループを含む信念伝播に基づく空間モデルをネットワークに統合し、MRF推論を近似することで、関節配置の構造的予測を可能にする。
• 空間モデルのメッセージパッシング機構は微分可能であり、標準的な確率的勾配降下法を用いてConvNetと共同で訓練可能である。
• 新しいシーン分割済みデータセット「FLIC-plus」を用いて、エンド・トゥ・エンドでモデルを訓練し、テストデータとトレーニングデータの独立性を確保する。
• 推論時に複数人の人物を区別しやすくするために、体幹のボクシングボックスヒートマップ入力をモデルに組み込む。
• ハイパーパramータは粗いメタ最適化により調整され、100msの推論予算内で検証性能を最大化することを目的とする。

実験結果

リサーチクエスチョン

• RQ1 ディープConvNetと微分可能なグラフィカルモデルを統合したハイブリッドアーキテクチャが、現在の最先端手法を上回る人体ポーズ推定精度を実現できるか？
• RQ2 ConvNetとMRFに基づく空間モデルをエンド・トゥ・エンドで共同訓練することで、身体部の相互依存関係をどれほど効果的にモデル化できるか？
• RQ3 微分可能な空間モデルによる構造的事前知識の統合が、特に隠蔽や高レベルの可動性下でも、局所化誤差をどれほど低減できるか？
• RQ4 マルチスケール特徴表現と重複する受容野を用いることで、複雑なシーンにおける検出のロバスト性が向上するか？

主な発見

• ConvNetとMRFに基づく空間モデルの共同訓練により、部分検出器を単独で訓練した場合と比較して、大きな誤差閾値において4–5%の精度向上が達成された。
• 空間モデル単体でも、大きな半径の閾値において8–12%の性能向上が見られ、空間的に一貫性のある関節予測の改善効果が明確に示された。
• FLICテストセットでは、肘および手首関節の局所化において優れた性能を発揮し、特に大きな誤差半径での向上が顕著であった。
• LSPデータセットでは、人物中心座標を用いた先行研究の最先端手法を上回り、データセット間での一般化能力を確認した。
• 複数のスケールバンクの追加により性能が向上し、受容野のサイズとプーリング段階のサイズが精度に顕著な影響を与えた。
• モデルはニアリアルタイムで動作し、1画像あたり100ms未満の推論時間を達成しており、実用的デプロイメントに適している。