[論文レビュー] Localizing Actions from Video Labels and Pseudo-Annotations

Pascal Mettes, Cees G. M. Snoek+1 more|arXiv (Cornell University)|Jul 28, 2017

Human Pose and Action Recognition参考文献 26被引用数 10

ひとこと要約

本稿では、ボックスまたはポイントのアノテーションに代えて、クラスラベルと自動生成された疑似アノテーションのみを用いて動画内のアクションを局所化する弱教師ありアクション局所化手法を提案する。5つの視覚的キュー（人物検出、動き、アクション候補、オブジェクト候補、センターバイアス）と相関に基づくメトリクスを活用し、それらを自動的に選択・統合することで、UCF Sports、UCF-101、Hollywood2Tubes データセットにおいて完全なボックス監視と同等の性能を達成する。

ABSTRACT

The goal of this paper is to determine the spatio-temporal location of actions in video. Where training from hard to obtain box annotations is the norm, we propose an intuitive and effective algorithm that localizes actions from their class label only. We are inspired by recent work showing that unsupervised action proposals selected with human point-supervision perform as well as using expensive box annotations. Rather than asking users to provide point supervision, we propose fully automatic visual cues that replace manual point annotations. We call the cues pseudo-annotations, introduce five of them, and propose a correlation metric for automatically selecting and combining them. Thorough evaluation on challenging action localization datasets shows that we reach results comparable to results with full box supervision. We also show that pseudo-annotations can be leveraged during testing to improve weakly- and strongly-supervised localizers.

研究の動機と目的

• 動画アクション局所化における高コストな時空間ボックスまたはポイントアノテーションの必要性を排除すること。
• 動画クラスラベルと視覚的キューを疑似アノテーションとして用いる完全自動化された手法を開発すること。
• 情報量の多い疑似アノテーションを自動的に選択・統合することで、弱教師あり局所化の性能を向上させること。
• 疑似アノテーションが学習時だけでなく推論時にも性能向上に寄与することを示すこと。
• 手動ボックスアノテーションを一切必要としない任意のアクション分類データセットに対してアクション局所化を可能とすること。

提案手法

• 人物検出、独立した動き、アクション候補、オブジェクト候補、センターのバイアスの5種類の疑似アノテーションを視覚的キューから導出する。
• 各アクションに対して最も情報量の多い疑似アノテーションを自動的に選択・統合するための相関に基づくメトリクスを提案する。
• 複数インスタンス学習（MIL）を用いて、疑似アノテーションと動画ラベルに従って、非教師ありのアクション候補を用いてアクション局所化器を学習する。
• 推論時にも同じ疑似アノテーションを適用し、さまざまなモデルで局所化結果を改善する。
• スーパボクセルや動きのキューから得られる非教師ありのアクション候補を、局所化のための候補チューブとして用いる。
• 疑似アノテーションと真値のアクション位置との相関を活用し、学習時およびテスト時に高品質なキューを優先的に処理する。

実験結果

リサーチクエスチョン

• RQ1 ボックスまたはポイントの手動監視を一切行わず、動画クラスラベルと自動生成された疑似アノテーションのみを用いて、アクション局所化を効果的に行うことは可能か？
• RQ2 動き、オブジェクト候補、人物検出などの視覚的キューのうち、弱教師あり設定におけるアクション局所化をガイドする上で最も情報量の多いものは何か？
• RQ3 複数の疑似アノテーションを自動的に選択・統合することで、局所化性能をどのように向上させられるか？
• RQ4 疑似アノテーションは、学習時だけでなく推論時にも、完全なボックス監視で学習されたモデルにおいても、局所化精度を向上させることができるか？
• RQ5 疑似アノテーションは、弱教師ありと完全な教師ありのアクション局所化の性能差をどの程度縮小できるか？

主な発見

• 本手法は、UCF Sports と UCF-101 において、それぞれ AUC 53.3%、mAP 35.1% を達成し、同じ設定下で完全なボックス監視と同等の性能を示した。
• 推論時にも疑似アノテーションを適用した場合、UCF Sports と UCF-101 では AUC 55.6%、mAP 37.4% に性能が向上し、これらのデータセットでは完全なボックス監視の結果を上回った。
• Hollywood2Tubes データセットでは、動画ラベルと疑似アノテーションのみを用いて 13.6% の mAP を達成し、先行する弱教師あり手法を大きく上回った。
• 相関に基づく疑似アノテーションの選択は、すべてのデータセットで一貫した性能向上をもたらし、このメトリクスの有効性を示した。
• 疑似アノテーションは、完全なボックス監視で学習されたモデルに対しても局所化精度を向上させることを示し、汎用性と頑健性の高さを示した。
• 本手法により、Sports 1M や ActivityNet、EventNet といった大規模データセットに対しても、手動アノテーションを一切不要としてアクション局所化を可能とし、弱教師あり設定への応用範囲を拡大した。