[論文レビュー] MoDeep: A Deep Learning Framework Using Motion Features for Human Pose Estimation

Arjun Jain, Jonathan Tompson+2 more|arXiv (Cornell University)|Sep 28, 2014

Human Pose and Action Recognition参考文献 55被引用数 29

ひとこと要約

本稿では、マルチスケール畳み込みニューラルネットワークを用いて、RGBと動き特徴を統合的に活用することで、動画内の人体ポーズ推定を向上させる深層学習フレームワーク、MoDeepを提案する。FLIC-motionデータセットを新たに作成し、動き特徴を含む入力が、手作業で設計された特徴量に依存する最先端手法を上回ることを示した。これにより、構造的複雑性を最小限に抑えつつ、動きの手がかりがポーズ推定の精度を顕著に向上させることを実証した。

ABSTRACT

In this work, we propose a novel and efficient method for articulated human pose estimation in videos using a convolutional network architecture, which incorporates both color and motion features. We propose a new human body pose dataset, FLIC-motion, that extends the FLIC dataset with additional motion features. We apply our architecture to this dataset and report significantly better performance than current state-of-the-art pose detection systems.

研究の動機と目的

• 高次元の入力とポーズの多様性により性能が制限される、制約のない動画シーケンスにおける関節部ポーズ推定の課題に対処すること。
• 従来の手法が手作業で設計された外見特徴（例：HoG）に強く依存し、動きの手がかりを無視するという限界を克服すること。
• 特に動きの流れの大きさという特徴が、RGBのみを用いる場合を超える強力で判別力のある入力として機能し、ポーズ推定を向上させることを示すこと。
• 実用的な動画解析アプリケーションへの導入に適した、効率的でリアルタイムの推論システムを開発すること。
• ハリウッド映画クリップから抽出した動き特徴を備えた、FLICデータセットを拡張した新しいベンチマークデータセット、FLIC-motionを提供すること。

提案手法

• RGB画像と光度計測特徴を同時に処理するマルチスケール畳み込みニューラルネットワーク（CNN）アーキテクチャを採用し、空間的および時間的表現を統合的に学習する。
• 連続する動画フレーム間のLucas-Kanade法を用いて動き特徴を抽出し、2次元の流れベクトルに加え、そのL2ノルムをネットワークへの入力として計算する。
• カメラの動きによるノイズを低減するため、Lucas-Kanade法（LMN）を用いたカメラの動き補償技術を適用する。
• FLIC-motionデータセットの2次元関節アノテーションを教師データとして用い、キーポイント位置の予測にマルチスケール損失関数を適用してネットワークを訓練する。
• スライディングウィンドウ評価を回避するため、2つの連続フレームを一度に処理する「ワンショット」推論戦略を採用し、リアルタイム性能を実現する。
• CNNの入力チャネルに動き特徴を追加することで、手作業で設計された時間的モデルに依存せずに、エンドツーエンドで空間的・時間的事前知識を学習可能にする。

実験結果

リサーチクエスチョン

• RQ1 RGB特徴量のみを用いる場合を超えて、動き特徴量が制約のない動画における深層学習ベースの人体ポーズ推定の精度を顕著に向上させることができるか？
• RQ2 RGB入力を除き、動き特徴量のみを用いた場合でも、HoGなどの手作業特徴量に依存する最先端手法を上回ることができるか？
• RQ3 動き表現の選択（2次元流れベクトルの全量 vs L2ノルム）が、モデルの性能と一般化能力に与える影響は何か？
• RQ4 ポーズ推定精度の観点から、動き特徴抽出における最適な時間的文脈（フレームオフセット）は何か？
• RQ5 カメラの動きによる劣化が性能に与える影響はどの程度で、動き補償技術はこの問題を緩和できるか？

主な発見

• MoDeepは、FLIC-motionデータセット上で、既存の最先端手法を顕著に上回り、肘および手首キーポイント検出の両方で平均精度が向上した。
• RGB入力を除き、動きの流れの大きさのみを入力として用いた場合でも、HoGなどの手作業特徴量に依存する複数の最先端手法（例：[6]、[7]、[8]）を上回った。これは、動きの手がかりが極めて有効であることを示している。
• 全フレームオフセット範囲で動き特徴量の導入が性能向上に寄与し、フレーム間隔を-1から-10ピクセル（24fpsで約0.42秒）に拡大しても、平均精度がわずか3.9%低下したにとどまった。
• 驚くべきことに、2次元流れベクトルのL2ノルムを用いた場合が、全量の2次元流れベクトルを用いた場合と同等またはそれ以上の性能を示した。これは、ネットワークが動きの方向に不変性を学習している可能性を示唆している。
• LMNによるカメラの動き補償は、期待した性能向上をもたらさなかった。これは、LMNがカメラの動きの大部分を除去しているか、あるいはネットワークがパララックス効果を自動的に無視するように学習している可能性を示している。
• モデルはほぼリアルタイムの推論速度を達成しており、動画解析システムへの実用的導入に適している。