[論文レビュー] Segregated Temporal Assembly Recurrent Networks for Weakly Supervised Multiple Action Detection

Yunlu Xu, Chengwei Zhang+5 more|arXiv (Cornell University)|Nov 19, 2018

Human Pose and Action Recognition参考文献 39被引用数 8

ひとこと要約

本論文は、クラス固有のアテンションを用いてアクションクリップをアセンブルし、拡張されたRNNでアクション間の時間的関係をモデル化する、弱教師付きマルチアクション検出のための分離型時系列アセンブリ再帰型（STAR）ネットワークを提案する。本手法は、THUMOS’14およびActivityNet1.3で最先端の性能を達成し、従来の弱教師付き手法を大きく上回り、mAPにおいて完全教師付きベースラインと同等の結果を示した。

ABSTRACT

This paper proposes a segregated temporal assembly recurrent (STAR) network for weakly-supervised multiple action detection. The model learns from untrimmed videos with only supervision of video-level labels and makes prediction of intervals of multiple actions. Specifically, we first assemble video clips according to class labels by an attention mechanism that learns class-variable attention weights and thus helps the noise relieving from background or other actions. Secondly, we build temporal relationship between actions by feeding the assembled features into an enhanced recurrent neural network. Finally, we transform the output of recurrent neural network into the corresponding action distribution. In order to generate more precise temporal proposals, we design a score term called segregated temporal gradient-weighted class activation mapping (ST-GradCAM) fused with attention weights. Experiments on THUMOS'14 and ActivityNet1.3 datasets show that our approach outperforms the state-of-the-art weakly-supervised method, and performs at par with the fully-supervised counterparts.

研究の動機と目的

• 剪断されていない動画におけるビデオレベルラベルのみを用いて、弱教師付きマルチアクション検出の課題に対処すること。
• アクション特徴のアセンブリにおいて、背景や関連のないアクションからの干渉を低減するため、クラス固有のアテンションウェイトを学習すること。
• 複数の同時進行するアクション間の時間的依存関係を、拡張された再帰ニューラルネットワーク（RNN）を用いてモデル化すること。
• 時間的プロポーザル生成に、新しいST-GradCAMとアテンションウェイトを統合することで、局所化の精度を向上させること。
• 弱教師付きと完全教師付きのアクション検出手法の間の性能ギャップを埋めること。

提案手法

• 背景や関連のないアクションからの干渉を最小限に抑えるために、各アクションカテゴリごとにインスタンスパターンごとにビデオクリップをアセンブルするクラス可変アテンション機構を採用する。
• アセンブルされた特徴を拡張された再帰ニューラルネットワーク（RNN）に統合し、複数のアクション間の時間的関係を学習する。
• より精細なアクションプロポーザル生成に適応的にアテンションウェイトを調整できるように、RNNに繰り返し整合性メカニズムを統合する。
• 特定のアクションカテゴリの特徴の重要性を強調する分離型時系列勾配CAM（ST-GradCAM）を設計し、アテンションウェイトと統合して局所化を実現する。
• ビデオレベルラベルのみを用いて、エンドツーエンドに全体フレームワークを弱教師付きで訓練する。
• 評価にはIoU閾値0.1～0.5を用い、THUMOS’14およびActivityNet1.3における主な指標としてmAPを採用する。

実験結果

リサーチクエスチョン

• RQ1 ビデオレベルラベルのみを用いて、弱教師付きフレームワークが剪断されていない動画における複数のアクションを効果的に局所化できるか？
• RQ2 特徴アセンブリの過程で、背景や関連のないアクションからの干渉を低減するために、どのようにアテンション機構を設計できるか？
• RQ3 アクション間の時間的関係をモデル化することで、弱教師付き設定における局所化性能がどの程度向上するか？
• RQ4 クラス固有のアテンションと統合された新しいST-GradCAM手法は、標準のGradCAMと比較して時間的プロポーザルの正確性を向上させられるか？
• RQ5 提案されたSTARフレームワークは、ベンチマークデータセットにおいて、弱教師付きおよび完全教師付きの最先端手法と比較してどのように評価されるか？

主な発見

• THUMOS’14では、IoU 0.1でmAP 68.8%、IoU 0.2でmAP 60.0%を達成し、すべての報告済みの弱教師付き手法を大きく上回った。
• THUMOS’14において、STARは前回の最良の弱教師付き手法よりも平均mAPで7%向上し、IoU 0.1および0.2において、すべての完全教師付き手法を上回った。
• ActivityNet1.3では、IoU 0.5でmAP 31.1%を達成し、前回の最良の弱教師付き手法よりも平均mAPで2%向上した。
• STARは、フレームレベルのアノテーションが存在しないにもかかわらず、THUMOS’14において強力な完全教師付きベースラインと同等の結果を達成し、弱教師付きと完全教師付き手法の間の性能ギャップを縮めた。
• アブレーションスタディの結果、アテンションベースのアセンブリとST-GradCAMコンポーネントの両方が性能に不可欠であることが確認され、いずれかのコンポーネントを除外するとmAPが著しく低下した。
• 本手法は、さまざまなアクション密度にわたって良好に一般化され、図8に示すように、高密度のアクションを含む動画でも高いmAPを維持した。