[論文レビュー] Detecting Violence in Video using Subclasses

Xirong Li, Yujia Huo+2 more|arXiv (Cornell University)|Apr 27, 2016

Human Pose and Action Recognition参考文献 14被引用数 5

ひとこと要約

この論文は、マルチモーダル特徴統合を向上させるために、10の視覚的に明確に区別できる暴力サブクラスの詳細なアノテーションを導入することで、動画の暴力検出のためのサブクラスベースのアプローチを提案する。これらのサブクラスを活用することで、MediaEval 2015 テストセット上でAP 0.303、P100 0.55を達成し、最先端のシステムを上回り、サブクラスが使用される際には動き特徴が不要であることが示された。

ABSTRACT

This paper attacks the challenging problem of violence detection in videos. Different from existing works focusing on combining multi-modal features, we go one step further by adding and exploiting subclasses visually related to violence. We enrich the MediaEval 2015 violence dataset by \emph{manually} labeling violence videos with respect to the subclasses. Such fine-grained annotations not only help understand what have impeded previous efforts on learning to fuse the multi-modal features, but also enhance the generalization ability of the learned fusion to novel test data. The new subclass based solution, with AP of 0.303 and P100 of 0.55 on the MediaEval 2015 test set, outperforms several state-of-the-art alternatives. Notice that our solution does not require fine-grained annotations on the test set, so it can be directly applied on novel and fully unlabeled videos. Interestingly, our study shows that motion related features, though being essential part in previous systems, are dispensable.

研究の動機と目的

• 訓練データセットとテストデータセット間のサブクラス分布の乖離を分析することで、異なるデータセットに一般化する暴力検出モデルの課題に対処すること。
• 理論的利点があるにもかかわらず、先行研究では学習による統合手法が性能を発揮しなかった理由を調査すること。
• 詳細なサブクラスアノテーションの導入と活用を通じて、暴力検出の一般化性能を向上させること。
• サブクラスを考慮した場合、視覚、音声、動きの各モダリティの相対的な重要性を特定すること。
• テストデータに詳細なアノテーションを必要とせず、新規の完全にラベルなしの動画に直接展開可能なシステムの開発

提案手法

• 著者らは、95の概念から構成される洗練された語彙に基づき、MediaEval 2015 データセットの10,900の動画クリップを、'武器'、'死'、'狙撃'、'拘束'など10の視覚的に明確に区別できる暴力サブクラスで手動でアノテーションした。
• サブクラスアノテーションは、52のミドルレベルの概念のサブセットから導出され、開発セットで少なくとも20本の動画に出現するものに限定され、最終的に10のサブクラスが得られた。
• 深層畳み込みニューラルネットワーク特徴（例：gnet、g4k）、音声特徴（MFCC）、動き記述子（例：HOG、密集トラジェクトリ）を含むマルチモーダル特徴セットを用い、各サブクラスごとに分類器を訓練した。
• 学習による統合戦略は、検証セットで統合重みを最適化することで適用され、サブクラス監視の有無に関わらず、学習統合と平均統合を比較した。
• 標準指標を用いて評価した：公式の MediaEval 2015 テストセットにおける平均適合率（AP）、10番目までの適合率（P10）、100番目までの適合率（P100）。
• Fudan-Huawei、MIC-TJU、NII-UIT の3つの最先端システムと比較した。

実験結果

リサーチクエスチョン

• RQ1 なぜ、理論的利点があるにもかかわらず、先行の学習による統合手法は、単純な平均統合を上回らなかったのか？
• RQ2 サブクラスレベルのアノテーションは、新規の未観測テストデータへのマルチモーダル統合モデルの一般化性能にどのように影響するか？
• RQ3 詳細なサブクラスが使用された場合、視覚、音声、動きのどのモダリティが暴力検出において最も効果的か？
• RQ4 特定のデータセットで学習したシステムが、テストデータに詳細なアノテーションを必要とせずに、新しいテストセットに一般化できるか？
• RQ5 サブクラスレベルの監視が、包括的暴力検出と比較して、マルチモーダル特徴のより効果的かつ頑健な統合を可能にするか？

主な発見

• 提案されたサブクラスベースの手法は、MediaEval 2015 テストセットでAP 0.303、P100 0.55を達成し、3つの最先端システムを上回った。
• サブクラスアノテーションの導入により、開発セットとテストセット間の分布シフトが解消され、これは先行の学習による統合手法の一般化性能が低かった主な要因と特定された。
• サブクラスが使用された際には、学習による統合戦略が平均統合を顕著に上回り、13通りの組み合わせのうち11通りで平均統合を上回る性能を示した。
• 動き関連特徴は、先行のシステムで中心的だったが、サブクラス監視が適用された際には不要であることが判明した。サブクラス固有の視覚的手がかりがあると、その寄与度は低下した。
• 視覚と音声モダリティの併用は、動き特徴を含まない場合に最も高い性能を示し、サブクラス監視下ではモダリティの補完性が変化していることを示唆した。
• 本手法は、テスト時におけるサブクラスアノテーションを必要としないため、完全にラベルなしの新規動画に対しても良好な一般化性能を示し、実世界のシナリオでの直接展開が可能である。