[論文レビュー] Going Deeper into First-Person Activity Recognition

Minghuang Ma, Haoqi Fan+1 more|arXiv (Cornell University)|May 12, 2016

Human Pose and Action Recognition参考文献 28被引用数 27

ひとこと要約

本論文は、初動的行動認識のためのツインストリームCNNアーキテクチャを提案し、外観（手および物体特徴）と運動（光流）を統合的にモデル化することで、行動、物体、アクティビティ認識を向上させる。モデルは最先端手法に対して平均6.6%の精度向上を達成し、共同学習とアテンション機構により、行動認識は30%、物体認識は14%向上する。

ABSTRACT

We bring together ideas from recent work on feature design for egocentric action recognition under one framework by exploring the use of deep convolutional neural networks (CNN). Recent work has shown that features such as hand appearance, object attributes, local hand motion and camera ego-motion are important for characterizing first-person actions. To integrate these ideas under one framework, we propose a twin stream network architecture, where one stream analyzes appearance information and the other stream analyzes motion information. Our appearance stream encodes prior knowledge of the egocentric paradigm by explicitly training the network to segment hands and localize objects. By visualizing certain neuron activation of our network, we show that our proposed architecture naturally learns features that capture object attributes and hand-object configurations. Our extensive experiments on benchmark egocentric action datasets show that our deep architecture enables recognition rates that significantly outperform state-of-the-art techniques -- an average $6.6\%$ increase in accuracy over all datasets. Furthermore, by learning to recognize objects, actions and activities jointly, the performance of individual recognition tasks also increase by $30\%$ (actions) and $14\%$ (objects). We also include the results of extensive ablative analysis to highlight the importance of network design decisions..

研究の動機と目的

• 統合的なディープラーニングフレームワークを用いて外観と運動の手がかりを統合することで、初動的行動認識の課題に取り組む。
• 視線データに依存せずに、最先端手法を上回る認識性能を向上させる。
• エゴセントリック動画における行動、物体、アクティビティの共同学習の有効性を調査する。
• 中間層活性化の可視化を通じて、ネットワークが学習する特徴を理解する。
• エゴセントリック行動認識において、物体局在化と運動の時間的構造の重要性を示す。

提案手法

• 外観特徴（手分離画像と切り出し物体パッチ）を処理するストリームと、積層された光流場を処理するストリームを備えたツインストリームCNNを設計する。
• 手分離ヘッドを用いて外観ストリームを訓練することで、手-物体領域への注目を可能にし、特徴学習を向上させる。
• 共通の全結合層を用いたラテントファージョンにより、行動、物体、アクティビティのマルチタスク予測を実行する。
• パラメータ共有と一般化性能の向上を目的として、行動、物体、アクティビティの3つの重み付き損失を用いた共同学習を実装する。
• オブジェクトの切り出しや共同学習などの主要な設計選択の影響を評価するためのアブレーション分析を実施する。
• 畳み込み層内のニューロン活性化を可視化し、手-物体構成や運動シグネイチャなどの学習済み特徴を解釈する。

実験結果

リサーチクエスチョン

• RQ1 統一されたディープラーニングフレームワークは、初動的行動認識における外観と運動特徴の統合を効果的に行えるか？
• RQ2 行動、物体、アクティビティ認識の共同学習は、独立または段階的な学習と比較して、性能をどのように向上させるか？
• RQ3 手分離とオブジェクトの切り出しは、エゴセントリック動画における特徴学習をどの程度向上させるか？
• RQ4 ネットワークのニューロンが検出する視覚的特徴（例：手の外観、物体の属性、運動パターン）の種類は何か？
• RQ5 行動の区別（例：'put' と 'take'）に際して、運動特徴の時間的順序はどの程度重要か？

主な発見

• 提案されたツインストリームCNNは、視線情報を利用せずに、ベンチマークとなるエゴセントリック行動データセット上で最先端手法よりも平均6.6%の精度向上を達成する。
• マルチタスク学習による共同学習は、単一タスクベースラインと比較して、行動認識の精度を30%、物体認識の精度を14%向上させる。
• 可視化結果から、ネットワークは手-物体構成、物体属性、局所的な手の運動を検出する一方で、グローバルなカメラエゴモーションを抑制することがわかる。
• ネットワークは自動的に運動タイプ（例：手の運動対カメラモーション）を区別し、行動固有の運動パターンに強く反応するニューロンを学習する。
• 光流の順序を逆転させると活性化が弱くなることから、時間的順序がネットワークに符号化されており、'put' と 'take' のような行動の区別に不可欠であることが確認された。
• 切り出し物体画像による物体局在化は、フルモデルと比較して9.6%以内の性能を達成し、エゴセントリックシーンにおける重要な物体に注目することが極めて重要であることが示された。