[論文レビュー] Thin-Slicing Network: A Deep Structured Model for Pose Estimation in Videos

Jie Song, Limin Wang+2 more|arXiv (Cornell University)|Mar 31, 2017

Human Pose and Action Recognition参考文献 38被引用数 13

ひとこと要約

本論文では、動画ベースの人体ポーズ推定のため、空間的・時間的推論を完全畳み込みネットワークに統合した深層構造的モデル、Thin-Slicing Networkを提案する。密なオプティカルフローを用いた時間的特徴伝搬と、ループを持つ空間的・時間的グラフ上で行われるメッセージパッシングにより、遮蔽、運動ぼやけ、レアポーズの状況下でも関節検出の正確性が向上し、Penn ActionおよびJHMDBデータセットで最先端の性能を達成。従来手法比で平均PCKスコアが4.7%向上した。

ABSTRACT

Deep ConvNets have been shown to be effective for the task of human pose estimation from single images. However, several challenging issues arise in the video-based case such as self-occlusion, motion blur, and uncommon poses with few or no examples in training data sets. Temporal information can provide additional cues about the location of body joints and help to alleviate these issues. In this paper, we propose a deep structured model to estimate a sequence of human poses in unconstrained videos. This model can be efficiently trained in an end-to-end manner and is capable of representing appearance of body joints and their spatio-temporal relationships simultaneously. Domain knowledge about the human body is explicitly incorporated into the network providing effective priors to regularize the skeletal structure and to enforce temporal consistency. The proposed end-to-end architecture is evaluated on two widely used benchmarks (Penn Action dataset and JHMDB dataset) for video-based pose estimation. Our approach significantly outperforms the existing state-of-the-art methods.

研究の動機と目的

• 単一画像手法の性能を低下させる要因、すなわち自己遮蔽、運動ぼやけ、非共通ポーズといった動画ベースの人体ポーズ推定の課題に対処すること。
• 制約のない動画シーケンスにおける時間的整合性を活用し、空間的事前知識のみでは達成できない関節局在の正確性を向上させること。
• 深層外観特徴と構造的空間的・時間的関係を同時に最適化できるエンドツーエンドで学習可能なアーキテクチャを開発すること。
• 明示的な運動事前知識に依存せず、人間の体運動学的知識をループを持つグラフ構造によって暗黙的に組み込むこと。

提案手法

• モデルは完全畳み込みネットワークを用い、入力動画フレームから初期関節ヒートマップを回帰する。
• 隣接フレーム間の密なオプティカルフローを計算し、予測されたヒートマップを時間的にワープすることで、現在のフレームに一致させる。
• 空間的（ボディパーツ間接続）および時間的（フレーム間）エッジに沿った、ループを持つグラフ上で反復的メッセージパッシングを実行する新規な空間的・時間的推論層を導入。
• 構造的予測フレームワークを用いて、空間的・時間的両方向での整合性を強制することで、関節位置の不確実性を低減。
• 全アーキテクチャをエンドツーエンドで学習可能であり、バックプロパゲーションにより畳み込みネットワークの回帰器と構造的推論部の両方を同時に最適化可能。
• 人間の骨格を空間的制約と時間的伝搬を伴うグラフとして明示的にモデル化することで、一時的な視覚的劣化に対しても耐性を発揮する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド学習による空間的・時間的構造的モデルは、画像ベースのベースラインと比較して、制約のない動画におけるポーズ推定の正確性を向上させることができるか？
• RQ2 ループを持つ空間的・時間的グラフ上でのメッセージパッシングは、遮蔽やぼやけた関節の不確実性低減にどの程度効果的か？
• RQ3 オプティカルフローによる時間的整合性の伝搬は、レアまたは曖昧なポーズの検出にどの程度寄与するか？
• RQ4 外観回帰器と構造的推論層を同時に最適化することで、分離学習よりも一般化性能が向上するか？

主な発見

• Thin-Slicing Networkは、Penn Actionデータセットにおいて、従来の最先端手法比で平均PCKスコアが4.7%の絶対的向上を達成した。
• JHMDBデータセットでは、92.1%のmean PCK@0.2スコアを達成し、ハンドクラフト特徴量や再帰型ネットワークを用いたすべての従来手法を上回った。
• 特に手首や足首といった困難な関節において顕著な性能向上を示し、Penn Actionにおける足首の平均PCKが10.4%向上した。
• 遮蔽やぼやけのない単純なケースでも、複数フレームの整合性を活用することで正確性が向上した。これは、関節位置の予測がユニタリ予測の改善に寄与していることを示唆している。
• 失敗事例は主に長時間の運動ぼやけや遮蔽に起因しており、より長い範囲の時間的モデリングによりさらなる耐性向上が可能であると考えられる。
• アブレーションスタディの結果、空間的および時間的推論（ST-infer）の組み合わせが最高の性能を示し、空間的のみ（S-infer）やベースラインモデルを上回った。