[論文レビュー] Flowing ConvNets for Human Pose Estimation in Videos

Tomas Pfister, James Charles+1 more|arXiv (Cornell University)|Jun 9, 2015

Human Pose and Action Recognition参考文献 37被引用数 89

ひとこと要約

この論文では、複数の動画フレームからのヒートマップ予測を時系列的に整合させるためにオプティカルフローを活用するFlowing ConvNetアーキテクチャを提案している。より深い特徴抽出、ボディパーツ間の関係性をモデル化する空間的融合層、および歪められたヒートマップの重み付き融合を学習可能なプーリング層を統合することで、3つの動画ポーズデータセットにおいて最先端の性能を達成し、特にPoses in the Wildではd=8における手首の予測で30%の向上を達成した。

ABSTRACT

The objective of this work is human pose estimation in videos, where multiple frames are available. We investigate a ConvNet architecture that is able to benefit from temporal context by combining information across the multiple frames using optical flow. To this end we propose a network architecture with the following novelties: (i) a deeper network than previously investigated for regressing heatmaps; (ii) spatial fusion layers that learn an implicit spatial model; (iii) optical flow is used to align heatmap predictions from neighbouring frames; and (iv) a final parametric pooling layer which learns to combine the aligned heatmaps into a pooled confidence map. We show that this architecture outperforms a number of others, including one that uses optical flow solely at the input layers, one that regresses joint coordinates directly, and one that predicts heatmaps without spatial fusion. The new architecture outperforms the state of the art by a large margin on three video pose estimation datasets, including the very challenging Poses in the Wild dataset, and outperforms other deep methods that don't use a graphical model on the single-image FLIC benchmark (and also Chen & Yuille and Tompson et al. in the high precision region).

研究の動機と目的

• 複数フレームにわたる時間的文脈を活用することで、動画内の人体ポーズ推定を向上させること。
• ボディパーツの空間的モデルを暗黙的に学習することで、運動的に不一致なポーズ予測の課題に対処すること。
• オプティカルフローを用いて隣接フレームからの予測を歪めることで、ヒートマップの信頼性と正確性を向上させること。
• 時間的整合性や空間的関係性を明示的にモデル化しない既存のディープラーニング手法を上回ること。
• パラメトリックプーリング層による時間的融合重みのエンドツーエンド学習の有効性を示すこと。

提案手法

• 関節ヒートマップを回帰するより深いConvNetアーキテクチャを用い、初期のヒートマップ予測を越えて、人体のレイアウトの暗黙的空間モデルを学習する。
• ボディパーツ間の依存関係をモデル化するための空間的融合層を導入し、運動的に不可能なポーズ構成を低減する。
• オプティカルフローを用いて、隣接フレームからのヒートマップ予測を現在のフレームに歪める。これにより、画像空間内での時間的予測が整合される。
• パラメトリックプーリング層を用いて、時間軸にわたる最も信頼性の高い予測に注目することで、歪められたヒートマップを学習可能な方法で統合する。
• ネットワーク全体をバックプロパゲーションによりエンドツーエンドで学習させ、特徴学習、フローに基づく整合、融合の共同最適化を可能にする。
• マルチフレーム動画クリップを処理する完全畳み込み型設計を採用し、プールドヒートマップのピーク位置として関節位置を予測する。

実験結果

リサーチクエスチョン

• RQ1 オプティカルフローを用いて複数の動画フレーム間でヒートマップ予測を時系列的に整合させることで、ポーズ推定性能が向上するか？
• RQ2 追加の畳み込み層を用いてボディパーツ間の空間的モデルを学習することで、運動的に不一致なポーズ予測が低減するか？
• RQ3 複数フレームからの歪められたヒートマップを統合する学習可能なプーリング機構は、単純な平均化や入力フレームの初期融合を上回る性能を発揮するか？
• RQ4 提案手法のアーキテクチャは、挑戦的な動画ポーズ推定ベンチマークにおいて、最先端の手法と比較してどのように差をつけるか？
• RQ5 オプティカルフローと空間的統合の統合は、ポーズや外見に大きなばらつきがあるデータセットにおいて、性能向上にどの程度寄与するか？

主な発見

• Flowing ConvNetは、Poses in the Wildデータセットにおいて、d=8の閾値で手首の予測で前人最高を30%上回り、肘では24%の向上を達成した。
• オプティカルフローを用いることで、d=8の閾値で手首で10%、肘で13%の改善が確認され、時間的整合化の価値が裏付けられた。
• オプティカルフローを用いない場合でも、ChaLearnデータセットでd=6の閾値で前人最高を3.5%上回り、さらに深層ネットワークを採用することで13%の追加改善が得られた。
• FLICベンチマークでは、非グラフィカルモデル手法と比較してd=0.05の閾値で20%の精度向上を達成し、高精度領域ではグラフィカルモデルに基づく手法と同等またはわずかに上回った。
• 空間的統合層は、複数のヒートマップモードを示す失敗事例を、運動的整合性を強制することで効果的に解消しており、定性的な失敗分析で示された。
• 提案されたアーキテクチャは、BBC Pose、ChaLearn、Poses in the Wildの3つの主要な動画ポーズ推定データセットにおいて、すべてで最先端の性能を達成した。