[論文レビュー] Multi-velocity neural networks for gesture recognition in videos

Otkrist Gupta, Dan Raviv+1 more|arXiv (Cornell University)|Mar 22, 2016

Human Pose and Action Recognition参考文献 45被引用数 4

ひとこと要約

本稿では、大規模な顔映像データセットを用いた半教師付き学習プロトコルに基づき、動画におけるジェスチャー認識のための最適な時間的サンプリングレートを自己適応的に学習するマルチ・ボリューム・ニューラルネットワークを提案する。時間畳み込み自己符号化器と分類損失を組み合わせることで、変動する運動速度に強く対応できる堅牢なアクション認識が実現され、複数のベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

We present a new action recognition deep neural network which adaptively learns the best action velocities in addition to the classification. While deep neural networks have reached maturity for image understanding tasks, we are still exploring network topologies and features to handle the richer environment of video clips. Here, we tackle the problem of multiple velocities in action recognition, and provide state-of-the-art results for gesture recognition, on known and new collected datasets. We further provide the training steps for our semi-supervised network, suited to learn from huge unlabeled datasets with only a fraction of labeled examples.

研究の動機と目的

• 標準的な深層ネットワークの性能を阻害する、動画ジェスチャー認識における動作速度の変動という課題に対処すること。
• 訓練中に最適な時間的サンプリングレートを学習する、新しいニューラルネットワークアーキテクチャの開発により、運動速度の変動に対して不変となること。
• 少量のラベル付き例しか存在しないが、大規模なラベルなし動画データセットを活用することで、効果的な半教師付き学習を可能にすること。
• これまでにない最大規模の顔の感情動画データセットを構築・公開すること。本データセットは1億6200万枚の顔画像と78億のアノテーションを含み、今後の研究を支援する。

提案手法

• Bスpline補間を用いて、動画フレームを自己適応的に再サンプリングすることで、異なる時間スケールにおける運動不変特徴を学習するマルチ・ボリューム層を提案。
• ラベルなしデータに対する自己教師付き事前学習として時間畳み込み自己符号化器を用い、ラベル付きデータに対する分類損失を用いた教師あり微調整を組み合わせたハイブリッド訓練戦略を採用。
• 残差接続を備えた深層時空間畳み込みニューラルネットワークを、再構成と分類の両目的を同時に最適化するバックプロパゲーションにより、エンド・ツー・エンドで訓練。
• 複数の時間的解像度で動画シーケンスを再構築するためにBスpline補間を適用し、速度に頑健な表現を学習可能にする。
• 自己符号化器がラベルなしデータから時間的パターンを学び、分類器が少量のラベル付きサブセットで学習する半教師付き学習プロトコルを実装。
• 650万個の動画クリップ（16200万枚の顔画像、78億のアノテーション）を含む大規模データセットを、自動化されたデータ収集パイプラインにより収集。そのうち2777個が7つの顔の感情に対してラベル付け済み。

実験結果

リサーチクエスチョン

• RQ1 変動する運動速度を示す動画におけるアクション認識において、深層ニューラルネットワークが最適な時間的サンプリングレートを学習できるか？
• RQ2 ラベル付きデータの割合が極めて少ない状況下でも、動画ジェスチャー認識に効果的な半教師付き学習をどのように適用できるか？
• RQ3 大規模かつ高品質な動画データセットが、顔の感情認識の性能向上に与える影響は何か？
• RQ4 固定レートでのサンプリングと比較して、マルチ・ボリューム層が異なるアクション速度にわたる一般化性能を向上できるか？
• RQ5 提案されたハイブリッド自己符号化器・分類器訓練フレームワークは、エンド・ツー・エンドの教師あり学習や従来の半教師付き手法と比較して、どのように優れているか？

主な発見

• MMIデータセットにおいて66.15%の精度を達成し、10分割交差検証の下で先行の最先端手法（63.4%）を上回った。
• CK+データセットでは94.18%の精度に達し、以前の最先端手法（92.4%）を上回った。
• テストした全データセット（MMI、CK+、Asevo）で、複数のカーネルおよびエクスプレッション・レットベースラインと比較して一貫した向上を示し、最先端の性能を達成した。
• 16200万枚のラベルなし画像を含む大規模なデータセットを用いることで、一般化性能が顕著に向上し、わずか2777個のラベル付き動画でも有効であった。
• マルチ・ボリューム層により、運動不変特徴を学習可能となり、動作速度の時間的変動に対する感受性が低下した。
• 半教師付き学習プロトコルにより、ラベルなしデータを効果的に活用でき、少量のラベル付きデータでも性能が顕著に向上した。