[論文レビュー] 3C-Net: Category Count and Center Loss for Weakly-Supervised Action Localization

Sanath Narayan, Hisham Cholakkal+2 more|arXiv (Cornell University)|Aug 22, 2019

Human Pose and Action Recognition参考文献 33被引用数 25

ひとこと要約

本論文は、ビデオレベルラベルとアクティビティ数を活用して局所化精度を向上させる弱教師付き時系列アクティビティ局所化フレームワーク3C-Netを提案する。分類損失、マルチラベルセンター損失、カウント損失を統合的に最適化することで、先行研究と比較してTHUMOS14で4.6%の絶対的mAP向上を達成した。

ABSTRACT

Temporal action localization is a challenging computer vision problem with numerous real-world applications. Most existing methods require laborious frame-level supervision to train action localization models. In this work, we propose a framework, called 3C-Net, which only requires video-level supervision (weak supervision) in the form of action category labels and the corresponding count. We introduce a novel formulation to learn discriminative action features with enhanced localization capabilities. Our joint formulation has three terms: a classification term to ensure the separability of learned action features, an adapted multi-label center loss term to enhance the action feature discriminability and a counting loss term to delineate adjacent action sequences, leading to improved localization. Comprehensive experiments are performed on two challenging benchmarks: THUMOS14 and ActivityNet 1.2. Our approach sets a new state-of-the-art for weakly-supervised temporal action localization on both datasets. On the THUMOS14 dataset, the proposed method achieves an absolute gain of 4.6% in terms of mean average precision (mAP), compared to the state-of-the-art. Source code is available at https://github.com/naraysa/3c-net.

研究の動機と目的

• ビデオレベルラベルとアクティビティ数のみを用いた弱教師付き時系列アクティビティ局所化の課題に対処すること。
• グローバルおよびローカルレベルでの特徴の識別性を向上させることで、局所化精度を向上させること。
• ペアドビデオミニバッチや単一ラベルセンター損失に依存する既存手法の限界を克服すること。
• マルチラベルセンター損失に適応するクラス固有のアテンションベースの特徴集約を導入することで、多様なミニバッチでの有効な学習を可能にすること。
• アクティビティ数の情報を活用して、時系列的に隣接するアクティビティインスタンスをよりよく分離すること。

提案手法

• 分類損失、マルチラベルセンター損失、カウント損失を統合的に最適化するフレームワークを弱教師付きアクティビティ局所化に導入する。
• クラス固有のアテンションベースの特徴集約を用いて、マルチラベル入力ビデオに適応したセンター損失を拡張し、クラス内変動を低減する。
• 予測値と真値のアクティビティ数の差を最小化するカウント損失項を導入し、アクティビティインスタンスの正しいセグメンテーションを促進する。
• RGBとフォローアウトの特徴を後期統合する二本のI3Dバックボーンを採用し、T-CAMを用いてクラス固有の活性化マップを生成する。
• 時系列的一致性を維持し、局所化精度を向上させるために、カウント損失を最終的なT-CAM予測にのみ適用する。
• カウント損失において相対誤差を用いることで、ビデオ間でのアクティビティ頻度の違いに対応しやすくする。

実験結果

リサーチクエスチョン

• RQ1 分類損失、センター損失、カウント損失を統合した損失定式化が、弱教師付きアクティビティ局所化を改善できるか？
• RQ2 アクティビティ局所化において、マルチラベルビデオ入力に効果的に適応できるセンター損失の拡張方法は何か？
• RQ3 ビデオレベルのアクティビティ数情報が、隣接するアクティビティインスタンスの分離を向上させられるか？
• RQ4 ペアドビデオミニバッチを必要とせずに、多様なビデオ分布に一般化可能か？
• RQ5 各損失項が全体の局所化性能に果たす寄与度は何か？

主な発見

• 提案された3C-Netは、先行の最良手法[16]と比較して、THUMOS14で4.6%の絶対的mAP向上を達成した。
• THUMOS14において、分類損失のみを用いたベースライン（mAP 19.1%）から3C-Net（mAP 26.6%）にまで向上し、7.5%の絶対的向上を達成した。
• アブレーションスタディの結果、カウント損失を削除するとmAPが1.5%低下し、その重要性が確認された。
• カウント損失に相対誤差を用いることで、絶対誤差よりも高い性能が得られ、mAPで1.2%の向上を示した。
• センター損失項は顕著な貢献を示しており、RGBまたはフローのどちらかのストリームから除去すると、mAPが1.9%～2.5%低下した。
• 定性的な結果から、複数のアクティビティインスタンス、視覚的に類似したアクティビティ、長時間継続する活動に対しても、強固な局所化が可能であることが示された。