[論文レビュー] Background Modeling via Uncertainty Estimation for Weakly-supervised Action Localization

Pilhyeon Lee, Jinglu Wang+2 more|arXiv (Cornell University)|Jun 12, 2020

Human Pose and Action Recognition参考文献 54被引用数 10

ひとこと要約

本稿では、弱教師付き時空間行動検出における背景モデル化のための新しい不確実性推定手法を提案する。背景フレームを分布外サンプルとして扱い、複数インスタンス学習を活用するとともに、分布内確率を均一に保つために背景エントロピー損失を導入することで、背景の干渉を効果的に抑制し、THUMOS'14およびActivityNet (1.2 および 1.3) で最先端の性能を達成した。

ABSTRACT

Weakly-supervised temporal action localization aims to learn detecting temporal intervals of action classes with only video-level labels. To this end, it is crucial to separate frames of action classes from the background frames (i.e., frames not belonging to any action classes). In this paper, we present a new perspective on background frames where they are modeled as out-of-distribution samples regarding their inconsistency. Then, background frames can be detected by estimating the probability of each frame being out-of-distribution, known as uncertainty, but it is infeasible to directly learn uncertainty without frame-level labels. To realize the uncertainty learning in the weakly-supervised setting, we leverage the multiple instance learning formulation. Moreover, we further introduce a background entropy loss to better discriminate background frames by encouraging their in-distribution (action) probabilities to be uniformly distributed over all action classes. Experimental results show that our uncertainty modeling is effective at alleviating the interference of background frames and brings a large performance gain without bells and whistles. We demonstrate that our model significantly outperforms state-of-the-art methods on the benchmarks, THUMOS'14 and ActivityNet (1.2 & 1.3). Our code is available at this https URL.

研究の動機と目的

• 弱教師付き時空間行動検出における行動フレームと背景フレームの区別という課題に対処すること。
• 背景フレームを分布外サンプルとしてモデル化することで、検出のロバストネスを向上させること。
• フレームレベルのアノテーションが存在しない状況でも、背景フレームの不確実性推定を可能にすること。
• 新しい背景エントロピー損失を用いて、行動フレームと背景フレームの識別を強化すること。
• 追加のコンponentを用いずに標準ベンチマークで最先端の性能を達成すること。

提案手法

• 本手法は背景フレームを分布外サンプルとしてモデル化し、背景検出の代理として不確実性推定を可能にする。
• フレームレベルのアノテーションを必要としない複数インスタンス学習フレームワーク内に不確実性学習を定式化する。
• 背景フレームの各行動クラスにおける分布内確率を均一に保つように、背景エントロピー損失を導入する。
• 交差エントロピー損失と背景エントロピー損失を用いて、不確当然性推定をエンドツーエンドで最適化する。
• バックボーンネットワークからの深層特徴を活用し、時系列アグリゲーションを適用して行動境界を予測する。
• 最終的な予測は、不確実性スコアをしきい値処理することで、行動セグメントを特定することによって得られる。

実験結果

リサーチクエスチョン

• RQ1 背景フレームを分布外サンプルとして効果的にモデル化することで、行動検出の性能が向上するか？
• RQ2 フレームレベルのラベルが存在しない状況でも、背景フレームの不確実性をどのように推定できるか？
• RQ3 背景エントロピー損失を導入することで、背景フレームと行動フレームの識別性能が向上するか？
• RQ4 不確実性ベースの背景モデリングにより、弱教師付き行動検出の性能向上が達成できるか？
• RQ5 本手法は標準ベンチマークで最先端の手法と比較してどのように評価されるか？

主な発見

• 提案手法はTHUMOS'14ベンチマークで最先端の性能を達成し、追加コンponentなしで先行手法を上回った。
• ActivityNet 1.2および1.3においても、既存の最先端手法に対して顕著な性能向上を達成した。
• 背景エントロピー損失は、背景フレームの分布内確率を均一に保つのに効果的であり、その検出性能を向上させた。
• 不確実性推定により、背景フレームの干渉が著しく低減され、より正確な行動境界の局所化が実現した。
• 多様なデータセットにわたる一般化性能が強く示され、本手法のロバストネスと有効性が確認された。