[論文レビュー] Heterogeneous Multi-task Learning for Human Pose Estimation with Deep Convolutional Neural Network

Sijin Li, Zhi-Qiang Liu+1 more|arXiv (Cornell University)|Jun 13, 2014

Human Pose and Action Recognition参考文献 23被引用数 46

ひとこと要約

本論文では、回帰による人体ポーズ推定とスライディングウィンドウ型ボディパーツ検出の両方を同時に学習する異種マルチタスク学習フレームワークを提案する。これらの異なるタスク間で特徴を共有することで、ネットワークはよりロバストで局所化された表現を学習し、ベンチマークデータセットで最先端の性能を達成するとともに、中間および高レベルのニューロンが特定のボディパーツに選択的に反応することを示している。

ABSTRACT

We propose an heterogeneous multi-task learning framework for human pose estimation from monocular image with deep convolutional neural network. In particular, we simultaneously learn a pose-joint regressor and a sliding-window body-part detector in a deep network architecture. We show that including the body-part detection task helps to regularize the network, directing it to converge to a good solution. We report competitive and state-of-art results on several data sets. We also empirically show that the learned neurons in the middle layer of our network are tuned to localized body parts.

研究の動機と目的

• 単眼2D画像からの人体ポーズ推定を改善すること。これは、外観の曖昧さと自己遮蔽のため、困難である。
• 限られたデータで深層ネットワークを訓練する難しさに対処するために、学習を正則化する補助タスクを導入すること。
• ポーズ回帰とボディパーツ検出の両方にとって有益な、共有で意味のある特徴表現を学習すること。
• 中間層のニューロンがどのように局所的なボディパーツの形状に反応するかを実証的に分析・可視化すること。

提案手法

• 2つの異種タスク（関節座標の回帰とスライディングウィンドウ型ボディパーツ検出）を同時に学習する、エンドツーエンドでトレーニングされた深層畳み込みニューラルネットワークを採用する。
• ネットワークは両タスク間で初期畳み込み層を共有することで、共有特徴学習を可能にするとともに、回帰と検出のタスク固有のヘッドを維持する。
• 検出タスクは、各スライディングウィンドウごとにバイナリ分類として定式化され、それぞれのウィンドウが特定のボディパーツの存在を予測する。
• 中間および高レベル層の特定のニューロンを最大に活性化させる入力画像領域を同定するために、バックトラッキングアルゴリズムを用いる。
• 各特徴マップにおける最も活性化されたニューロンに対応するバックトラックされたパッチを平均化することで、特徴可視化を実行する。
• マルチタスク学習を活用することで、ポーズ回帰ネットワークの正則化が図られ、一般化性能の向上とより良い局所最適解への収束が実現される。

実験結果

リサーチクエスチョン

• RQ1 ポーズ回帰とボディパーツ検出の同時学習は、人体ポーズ推定のための深層ネットワークにおける特徴学習と一般化性能の向上に寄与するか？
• RQ2 異種マルチタスク学習でトレーニングされた深層CNNの中間層のニューロンは、局所的なボディパーツの形状に選択的に反応するようになるか？
• RQ3 補助タスクとしての検出を組み込むことで、ポーズ回帰ネットワークの性能と収束特性にどのような影響を与えるか？
• RQ4 深層の層からのバックトラックされた活性化パターンは、解釈可能でボディパーツ固有の特徴を明らかにできるか？

主な発見

• 提案された異種マルチタスク学習フレームワークは、複数の人体ポーズ推定ベンチマークで競争力があり、最先端の結果を達成している。
• ボディパーツ検出を補助タスクとして組み込むことで、ネットワークの正則化が顕著に向上し、テストデータにおける収束性と一般化性能が向上した。
• ネットワークの中間および高レベル層のニューロンは、頭部、肩、腕、首などの局所的なボディパーツパターンに対して選択的に活性化されることが分かった。
• バックトラックされたパッチの可視化により、中レベル特徴（2番目および3番目の畳み込み層）が明確なパターンを示すボディパーツ検出器に類似しており、頭部、首、四肢のパターンが明確に識別された。
• 高レベル特徴（3番目の層）は、左/右の肩や腕など、さまざまな位置にある特定のボディパーツに選択的に反応しており、特徴マップにおける空間的認識能力が示された。
• 一部の高レベル特徴は、水平帯（例：ドアフレーム）のような文脈的構造に対しても反応しており、シーンの文脈統合の可能性を示唆している。