[論文レビュー] Human Action Recognition without Human

Hirokatsu Kataoka, Hara, Kensho+1 more|arXiv (Cornell University)|Aug 29, 2016

Human Pose and Action Recognition参考文献 6被引用数 5

ひとこと要約

本論文は「人間なしの行動認識」を提案し、UCF101で顕著な分類性能を達成できる背景の動きに着目している。人間領域を黒の背景に置き換え、2ストリームCNNを用いることで、47.42%の正確度を達成した。これは人間が存在する場合の56.91%と驚くほど近く、行動認識における背景のダイナミクスの強力な識別的パワーを示している。

ABSTRACT

The objective of this paper is to evaluate "human action recognition without human". Motion representation is frequently discussed in human action recognition. We have examined several sophisticated options, such as dense trajectories (DT) and the two-stream convolutional neural network (CNN). However, some features from the background could be too strong, as shown in some recent studies on human action recognition. Therefore, we considered whether a background sequence alone can classify human actions in current large-scale action datasets (e.g., UCF101). In this paper, we propose a novel concept for human action analysis that is named "human action recognition without human". An experiment clearly shows the effect of a background sequence for understanding an action label.

研究の動機と目的

• 人間の身体運動に依存せずに、背景の動きのみを用いて行動認識が可能かどうかを調査すること。
• UCF101のような大規模な行動認識データセットにおいて、背景シーケンスが文脈的ヒントとして果たす貢献を評価すること。
• 人間の動きが行動認識に不可欠であるという仮定に反し、背景のみの特徴を分離・分析することで、その仮定を検証すること。
• 標準化された2ストリームCNNフレームワークを用いて、人間が存在する場合と存在しない場合の認識性能を比較すること。
• 背景のダイナミクスのみが、行動分類のための強力な識別信号を提供できることを示すこと。

提案手法

• 人間領域を黒の背景に置き換えるために、センター・アラウンド画像フィルタリングを適用し、動画シーケンスから人間の動きを効果的に除去する。
• 空間（外観）および時間的（動き）特徴のための別々のストリームを備えた、事前学習済みの非常に深い2ストリームCNNを特徴抽出に使用する。
• 標準的な2ストリーム学習を用いて元のUCF101データセットでモデルを学習し、その後、フィルタリング処理を施した背景のみのシーケンスで性能を評価する。
• 逆フィルタリングを適用して人間領域を分離し、人間が存在する場合と存在しない場合の性能を比較する。
• 背景のみのフィルタリングに式（1）を用いる：$ I'(x,y) = I(x,y) * f(x,y) $、ここで$ f$は人間領域を黒に置き換える。
• 人間のみのフィルタリングに式（2）を用いる：$ \overline{I'}(x,y) = I(x,y) * \overline{f}(x,y) $、ここで$ \overline{f}$は背景を除去して人間の動きを分離する。

実験結果

リサーチクエスチョン

• RQ1 人間関連の特徴が一切存在しない状況でも、背景の動きのみを用いて行動認識を効果的に行うことができるか？
• RQ2 完全な動画と背景シーケンスのみの動画を用いた場合に、2ストリームCNNの性能はどのように異なるか？
• RQ3 背景のみの行動認識において、外観（空間的）特徴と動き（時間的）特徴の相対的な貢献度はどの程度か？
• RQ4 背景からの文脈的ヒントが、ベンチマークデータセット上で行動分類の正確度にどの程度影響を与えるか？
• RQ5 UCF101のような大規模データセットにおいて、背景シーケンスのみで異なる人間の行動クラスを区別するのに十分か？

主な発見

• 2ストリームCNNは、背景シーケンスのみを用いた場合にUCF101スプリット1で47.42%の正確度を達成した。これは、背景の動きのみで意味のある行動認識が可能であることを示している。
• 背景のみのデータにおいて、空間ストリームは時間ストリームよりも顕著に優れていた（45.33% 対 26.80%）。これは、背景の外観特徴が動き特徴よりも識別に優れていることを示している。
• 人間が存在する場合の性能は56.91%であり、背景のみの設定よりも9.49%高い。これは、人間の特徴が依然として顕著な向上効果をもたらしていることを示している。
• 背景のみの設定において、空間ストリームは時間ストリームを18.53ポイント上回った。これは、背景の外観パターンが動きのダイナミクスよりも情報量が多いことを示唆している。
• 背景のみの設定において、UCF101スプリット1の29.45%の動画に人間が存在しない部分領域が含まれており、完全に人間が存在しない動画は1つもなかった。これは、人間の存在が一般的ではあるが、認識に必ずしも不可欠ではないことを示している。
• 結果は、従来の行動認識に関する仮定に挑戦し、人間の動きがなくても背景シーケンスに行動分類に十分な文脈的情報が含まれていることが明らかになった。