[論文レビュー] Deep video gesture recognition using illumination invariants

Otkrist Gupta, Dan Raviv+1 more|arXiv (Cornell University)|Mar 21, 2016

Hand Gesture Recognition Systems参考文献 50被引用数 9

ひとこと要約

本稿では、新しい適応的正規化層とスタックドオートエンコーダーを用いた半教師あり学習を通じて、照度に頼らない特徴を用いた深層動画ジェスチャー認識システムを提案する。大規模なラベルなし動画データに対する教師なし事前学習と、微調整された教師あり予測を組み合わせることで、照明条件の変化に強い性能を達成し、ベンチマークデータセットにおいて、先行手法を最大10%上回る結果を示した。

ABSTRACT

In this paper we present architectures based on deep neural nets for gesture recognition in videos, which are invariant to local scaling. We amalgamate autoencoder and predictor architectures using an adaptive weighting scheme coping with a reduced size labeled dataset, while enriching our models from enormous unlabeled sets. We further improve robustness to lighting conditions by introducing a new adaptive filer based on temporal local scale normalization. We provide superior results over known methods, including recent reported approaches based on neural nets.

研究の動機と目的

• 変動する照度条件下でも頑健である動画ベースの顔面ジェスチャー認識のための深層学習フレームワークの開発。
• 動画ジェスチャー認識におけるラベル付きデータの不足に応じ、大規模なラベルなし動画データを半教師あり学習で活用することで、その課題を解決すること。
• ネットワークアーキテクチャ内に適応的かつ学習可能な正規化層を導入することで、時間的照度変化に対するモデルの頑健性を向上させること。
• スケール不変性を維持しつつ、照度変動への感受性を低減させながら、動画ジェスチャー認識で最先端の性能を達成すること。

提案手法

• 数百万枚のラベルなし動画クリップに対する教師なし事前学習として、スタックドオートエンコーダーを用い、空間時間的特徴を学習する。
• オートエンコーダーの重みで初期化された教師あり予測ネットワークを、小さなラベル付きデータセットで微調整することで、効果的な半教師あり学習を実現する。
• 動的特徴正規化と照度不変性の向上を目的として、時間的局所スケール正規化層を導入する。
• 4次元畳み込み層を用いて、動画シーケンスから空間時間的特徴を抽出し、動きと外観のダイナミクスを捉える。
• 適応的正規化層は微分可能であり、ネットワークの他の部分と同時に最適化可能であり、照度不変表現のエンドツーエンド学習を可能にする。
• オートエンコーダーからの再構成損失と予測ヘッドからの分類損失を組み合わせたハイブリッド損失関数を用いて、システムを訓練する。

実験結果

リサーチクエスチョン

• RQ1 少数のラベル付き例と膨大な量のラベルなし動画データのみを用いて、深層ニューラルネットワークを動画ジェスチャー認識に効果的に訓練できるか？
• RQ2 深層学習フレームワーク内で動画シーケンスの照度変動をどのように軽減できるか？
• RQ3 固定正規化手法（例：局所応答正規化）と比較して、適応的かつ学習可能な正規化層は、照明変化の処理において優れた性能を示すか？
• RQ4 スケール不変アーキテクチャは、実世界の照度変動下での動画ジェスチャー認識タスクの性能向上に寄与するか？

主な発見

• 提案手法はCK+データセットで73.68%の精度を達成し、次に優れた手法より4.26%の向上を示した。
• MMIデータセットでは59.03%の精度を達成し、半教師ありベースラインより3.33ポイントの向上を示した。
• 適応的正規化層は、特に大規模データセットにおいて、固定された局所応答正規化と比較して顕著な性能向上を示した。
• 本手法は照度変動に対して頑健であり、FlorentineおよびCK+を含む複数のデータセットで一貫した性能向上を示した。
• 大規模なラベルなしデータに対する訓練に3日以上を要したため、深層オートエンコーダーの事前学習の計算コストが顕著に高いことが示された。
• 性能は優れているが、前方視点に限定され、固定された入力フレームサイズを必要とするため、制約のない環境への一般化は制限されている。