[論文レビュー] Learning Human Pose Estimation Features with Convolutional Networks

Arjun Jain, Jonathan Tompson+3 more|arXiv (Cornell University)|Dec 27, 2013

Human Pose and Action Recognition参考文献 43被引用数 169

ひとこと要約

本論文は、FLICデータセットにおいて最先端の可変部分モデル（DPM）およびCVPR13 MODEC検出器を上回る性能を示す、非制約的人体ポーズ推定のエンドツーエンド畳み込みニューラルネットワーク（CNN）アーキテクチャを提案する。低レベル特徴の学習に深層畳み込みネットワークを活用し、部分検出を精緻化するシンプルでグローバルな空間モデルを適用することで、特に手首および肘関節の精度が向上した。これは、従来の予想よりも複雑な運動学的構造が重要でないことを示している。

ABSTRACT

This paper introduces a new architecture for human pose estimation using a multi- layer convolutional network architecture and a modified learning technique that learns low-level features and higher-level weak spatial models. Unconstrained human pose estimation is one of the hardest problems in computer vision, and our new architecture and learning schema shows significant improvement over the current state-of-the-art results. The main contribution of this paper is showing, for the first time, that a specific variation of deep learning is able to outperform all existing traditional architectures on this task. The paper also discusses several lessons learned while researching alternatives, most notably, that it is possible to learn strong low-level feature detectors on features that might even just cover a few pixels in the image. Higher-level spatial models improve somewhat the overall result, but to a much lesser extent then expected. Many researchers previously argued that the kinematic structure and top-down information is crucial for this domain, but with our purely bottom up, and weak spatial model, we could improve other more complicated architectures that currently produce the best results. This mirrors what many other researchers, like those in the speech recognition, object recognition, and other domains have experienced.

研究の動機と目的

• 手作業で設計された特徴量や複雑な構造的事前知識に依存せずに、非制約的人体ポーズ推定のエンドツーエンドの深層学習フレームワークを開発すること。
• 深層畳み込みネットワークが、人体ポーズ推定に有効な低レベル特徴および空間的関係を学習できるかどうかを調査すること。
• 上位レベルの空間モデルがポーズ推定性能に与える影響、特に従来の部品ベースモデルと比較しての影響を評価すること。
• 明示的な運動学的制約を持つより複雑なトップダウンアーキテクチャと比較して、純粋にボトムアップで弱い教師信号に基づくアプローチが、非制約的ポーズ推定で優れた性能を発揮できるかどうかを同定すること。

提案手法

• 本手法は、画像パッチから直接低レベル特徴を学習する多層畳み込みネットワークを採用し、従来の手作業で設計された特徴量（SIFT や HoG など）に置き換える。
• 部分検出器の応答マップをノイズ除去する二段階のフィルタリング処理を実施し、部分の階層構造に基づいた第二のネットワークがその情報を活用する。
• 空間モデルは、グローバルな位置事前分布を適用して検出結果を精緻化し、誤検出を低減して局所化精度を向上させる。
• ネットワークは、GPU上で確率的勾配降下法（SGD）を用いてバックプロパゲーションにより学習され、Theano を用いて効率的な記号的微分とバッチ処理が行われる。
• 推論時には、個々のパッチを処理するのではなく、画像全体に対して畳み込みを実行するため、推論時間が著しく短縮される。
• 最終的な関節位置は、複数スケールにおける信頼度が最大の位置として選択される。

実験結果

リサーチクエスチョン

• RQ1 深層畳み込みネットワークは、手作業で設計された特徴量に依存せずに、人体ポーズ推定に有効な低レベル特徴を学習できるか？
• RQ2 ローカル特徴のみを用いたエンドツーエンド学習と比較して、上位レベルの空間モデルがポーズ推定精度をどの程度向上させるか？
• RQ3 運動学的制約を組み込んだより複雑な構造的モデルと比較して、シンプルでグローバルな空間モデルが優れた性能を発揮するか？
• RQ4 純粋にボトムアップで弱い教師信号に基づくアプローチが、明示的な運動学的制約を持つより洗練されたトップダウンアーキテクチャを上回れるか？

主な発見

• 提案手法は、5ピクセルの閾値において、全3関節（手首、肘、肩）でCVPR13 MODEC検出器および最先端のDPMを上回った。
• 空間モデルにより、手首および肘関節の局所化精度が約5%向上し、誤検出が減少した。
• 肩関節に関しては、大きな閾値では性能がわずかに低下したが、これは肘関節の検出が不十分だったためと推定される。
• 結果から、複雑な構造的モデルが予想ほど重要でないことが示された。シンプルなグローバル空間事前分布が最良の性能を達成した。
• 深層学習が、わずか数ピクセル程度の小さな画像領域に対しても、正確で局所的な特徴を効果的に学習できることを示した。
• より単純なアーキテクチャで最先端の性能を達成した。これは、エンドツーエンド学習による表現学習が、このタスクにおいて極めて有効であることを示唆している。