[論文レビュー] Generalized Zero-Shot Learning for Action Recognition with Web-Scale Video Data

Kun Liu, Wu Liu+3 more|arXiv (Cornell University)|Oct 20, 2017

Human Pose and Action Recognition参考文献 34被引用数 4

ひとこと要約

本論文は、ウェブ規模の動画データを活用し、意味的埋め込みと視覚的特徴の転送を用いて、訓練例のない未学習行動を認識できる一般化零-shot学習（GZSL）フレームワークを、監視映像における行動認識のために提案する。従来のゼロショット手法がGZSL設定下で失敗することを示し、新たに構築された監視映像データセットにおいて優れた性能を発揮する新規手法を提案する。実際の状況下で、学習済みクラスと未学習クラスを区別する能力において、先行手法を上回っている。

ABSTRACT

Action recognition in surveillance video makes our life safer by detecting the criminal events or predicting violent emergencies. However, efficient action recognition is not free of difficulty. First, there are so many action classes in daily life that we cannot pre-define all possible action classes beforehand. Moreover, it is very hard to collect real-word videos for certain particular actions such as steal and street fight due to legal restrictions and privacy protection. These challenges make existing data-driven recognition methods insufficient to attain desired performance. Zero-shot learning is potential to be applied to solve these issues since it can perform classification without positive example. Nevertheless, current zero-shot learning algorithms have been studied under the unreasonable setting where seen classes are absent during the testing phase. Motivated by this, we study the task of action recognition in surveillance video under a more realistic \emph{generalized zero-shot setting}, where testing data contains both seen and unseen classes. To our best knowledge, this is the first work to study video action recognition under the generalized zero-shot setting. We firstly perform extensive empirical studies on several existing zero-shot leaning approaches under this new setting on a web-scale video data. Our experimental results demonstrate that, under the generalize setting, typical zero-shot learning methods are no longer effective for the dataset we applied. Then, we propose a method for action recognition by deploying generalized zero-shot learning, which transfers the knowledge of web video to detect the anomalous actions in surveillance videos. To verify the effectiveness of our proposed method, we further construct a new surveillance video dataset consisting of nine action classes related to the public safety situation.

研究の動機と目的

• 限られたラベル付きデータとプライバシー制約の下で、希少または未学習の行動を監視映像で認識する課題に対処する。
• 両方のクラス（学習済みおよび未学習）がテスト時に存在する一般化零ショット学習（GZSL）設定下での動画行動認識を検討する。これは、従来のZSLよりも現実的である。
• 動画認識におけるGZSLに適用した際の、既存のゼロショット学習手法の限界を特定する。特に、未学習の行動を学習済みクラスとして誤分類する傾向を特定する。
• 公共安全関連の行動クラス9種を含む、清浄な監視映像データセットを新たに構築し、提案手法の検証を可能にする。
• ウェブ規模の動画から得た知識を転送し、監視環境での異常行動を検出できる、堅牢なGZSLフレームワークを開発する。

提案手法

• 両方のクラス（学習済みおよび未学習）がテスト時に存在する一般化零ショット学習（GZSL）パラダイムを採用し、実世界の展開を模擬する。
• 2ストリームCNNを用いて、空間的外観と時間的ダイナミクス（光流）を捉えることで、ウェブ規模の動画データを活用し、視覚的表現を事前学習する。
• 行動クラスを表すために意味的埋め込み（例：単語ベクトルや属性）を用い、未学習カテゴリへのゼロショット転送を可能にする。
• 視覚的特徴を意味的空間にマップする統合分類器を訓練し、同時に学習済みクラスと未学習クラスを区別する学習を実施する。
• 学習済みクラスと未学習クラスの両方のパフォーマンスをバランスさせる損失関数を導入し、推論時に学習済みカテゴリに偏らないようにする。
• 訓練分布への過学習を避けるために、別個の検証セットを用いてハイパーパramータチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 従来のゼロショット学習手法は、学習済みおよび未学習クラスがテスト時に存在する一般化零ショット学習（GZSL）設定下で、どのように性能を発揮するか？
• RQ2 なぜ従来のゼロショット学習手法は、監視シーンにおける動画行動認識のGZSL設定で失敗するのか？特に、未学習行動を学習済みクラスとして誤分類する傾向があるのはなぜか？
• RQ3 ウェブ規模のデータを用いて、監視映像における学習済みおよび未学習の行動を同時に認識できる統合フレームワークを設計可能か？
• RQ4 視覚的空間と意味的空間の間の意味的ギャップは、行動認識におけるGZSLにどのような役割を果たし、どのように最小化できるか？
• RQ5 提案手法は、監視映像における未学習行動の認識精度と一般化性能において、最先端のZSLアプローチと比較してどのように優れているか？

主な発見

• 従来のゼロショット学習手法は、一般化零ショット学習（GZSL）設定下で未学習クラスのパフォーマンスが著しく低下し、多くの未学習サンプルが学習済みクラスとして誤分類される。
• 標準的な多クラス分類のパフォーマンスは、いかなるゼロショット設定よりも一貫して高く、ゼロショット認識が依然として困難な問題であることを確認する。
• 検証された手法の中で、SynCstructは従来のZSL設定およびGZSL設定の両方で最高のパフォーマンスを発揮し、GZSLへの適応可能性と堅牢性を示している。
• 提案手法は、学習済みクラスと未学習クラスの分類パフォーマンスをバランスさせることで、学習済みカテゴリへのバイアスを低減し、一般化性能を著しく向上させる。
• 監視映像における行動認識は、照明が悪い、動きぼけが激しい、物体が小さく、窃盗のような短時間で複雑な行動が含まれるため、ウェブ動画に比べて本質的に難しい。
• 公共安全関連の行動クラス9種を含む新たに構築された監視映像データセットは、実世界の展開状況におけるGZSLの評価に現実的で有用なベンチマークを提供する。