[論文レビュー] Pyramid Region-based Slot Attention Network for Temporal Action Proposal Generation

Shuai Cheng Li, Feng Zhang+5 more|arXiv (Cornell University)|Jun 21, 2022

Human Pose and Action Recognition被引用数 4

ひとこと要約

本論文では、新しいPRSlotモジュールを用いてアクションに敏感な表現を学習することで、時系列行動候補生成を向上させるピラミッド領域ベースのスロットアテンションネットワーク、PRSA-Netを提案する。類似度ベースのアテンションとは異なり、PRSlotは領域ベースのアテンションと並列ピラミッド戦略を用い、局所的文脈をより効果的にモデル化する。THUMOS1.3で56.12%のAR@100および58.7%のmAP@0.5を達成し、最先端の性能を実現した。

ABSTRACT

It has been found that temporal action proposal generation, which aims to discover the temporal action instances within the range of the start and end frames in the untrimmed videos, can largely benefit from proper temporal and semantic context exploitation. The latest efforts were dedicated to considering the temporal context and similarity-based semantic contexts through self-attention modules. However, they still suffer from cluttered background information and limited contextual feature learning. In this paper, we propose a novel Pyramid Region-based Slot Attention (PRSlot) module to address these issues. Instead of using the similarity computation, our PRSlot module directly learns the local relations in an encoder-decoder manner and generates the representation of a local region enhanced based on the attention over input features called extit{slot}. Specifically, upon the input snippet-level features, PRSlot module takes the target snippet as extit{query}, its surrounding region as extit{key} and then generates slot representations for each extit{query-key} slot by aggregating the local snippet context with a parallel pyramid strategy. Based on PRSlot modules, we present a novel Pyramid Region-based Slot Attention Network termed PRSA-Net to learn a unified visual representation with rich temporal and semantic context for better proposal generation. Extensive experiments are conducted on two widely adopted THUMOS14 and ActivityNet-1.3 benchmarks. Our PRSA-Net outperforms other state-of-the-art methods. In particular, we improve the AR@100 from the previous best 50.67% to 56.12% for proposal generation and raise the mAP under 0.5 tIoU from 51.9\% to 58.7\% for action detection on THUMOS14. extit{Code is available at} \url{https://github.com/handhand123/PRSA-Net}

研究の動機と目的

• 時系列行動候補生成のための豊かな時系列的・意味的文脈を捉えることのできない既存手法の限界を解消すること。
• 雑多な背景コンテンツによる干渉を低減し、未編集動画における候補品質の低下を防ぐこと。
• ペairワイズ類似度ベースのアテンションよりも、局所的でアクション関連の文脈をより効果的にモデル化することで、候補品質を向上させること。
• 局所的なスニペット文脈に焦点を当てた構造的で領域に敏感なアテンションメカニズムを用いて特徴表現学習を強化すること。
• 候補生成および下流の行動検出タスクの両方で最先端の性能を達成すること。

提案手法

• ターゲットスニペットの周囲の局所的領域に注目することで、オブジェクト中心の表現を学習するピラミッド領域ベースのスロットアテンション（PRSlot）モジュールを提案する。
• エンコーダ・デコーダアーキテクチャを用いて直接アテンションスコアを推定する領域ベースのアテンション（RA）を導入し、相互作用を局所的な空間領域に制限する。
• 複数スケールを同時に更新する並列ピラミッド戦略を採用し、反復的リファインメントを回避することで効率性を向上させる。
• スニペットレベルの特徴量を入力とし、局所的文脈と意味的関連性を両方含む強化されたスロット表現を生成する。
• PRSlotモジュールを統合したユニフィードネットワーク（PRSA-Net）を構築し、エンドツーエンドで境界スコアと候補信頼度スコアを出力する。
• 2段階フレームワークを適用：まず候補を生成し、その後外部または候補レベルの分類器を用いて分類する。

実験結果

リサーチクエスチョン

• RQ1 領域ベースのアテンション機構は、時系列行動候補生成における局所的文脈モデル化において、類似度ベースのアテンションを上回ることができるか？
• RQ2 マルチスケールで並列的なピラミッドスロット更新は、逐次的または単一スケールの方法と比較して、特徴表現学習をどのように向上させるか？
• RQ3 PRSA-Netは、未編集動画における背景の雑多さの影響をどれほど低減でき、候補品質を向上させられるか？
• RQ4 提案されたPRSlotモジュールは、候補生成および下流の行動検出タスクにおいて顕著な向上をもたらすか？
• RQ5 IoU閾値の異なる状況や、THUMOS14およびActivityNet-1.3のような異なるベンチマークで、モデルの性能はどの程度か？

主な発見

• THUMOS1.3でPRSA-Netは56.12%のAR@100を達成し、以前の最先端（SOTA）の50.67%から向上した。
• THUMOS1.3において、Unet分類器を用いる際の行動検出のmAP@0.5は45.4%から55.0%に上昇し、P-GCNの候補レベル分類器を用いると58.7%に達した。
• ActivityNet-1.3では、PRSA-NetがmAP@0.5で52.37%を達成し、以前のSOTA手法を大きく上回った。
• アブレーションスタディの結果、{4,8}の領域を用いたマルチスケールピラミッド戦略が、精度とモデルの複雑さのバランスを最適化する。
• PRSlotモジュールで2回のイテレーションが最良の性能を示し、3回のイテレーションでは性能が低下した。
• 定性的な結果から、PRSA-Netは複雑な背景や重複する複数のアクションを含む動画においても、アクションの境界を効果的に検出できている。