[論文レビュー] Learning Transferable Self-attentive Representations for Action Recognition in Untrimmed Videos with Weak Supervision

Xiaoyu Zhang, Haichao Shi+4 more|arXiv (Cornell University)|Feb 20, 2019

Human Pose and Action Recognition被引用数 5

ひとこと要約

本論文は、ビデオレベルのアノテーションのみを用いて、非トリムド動画におけるアクティビティ認識および局所化を実現する弱教師ありフレームワーク、TSRNetを提案する。自己注意機構を活用して関連するフレームを強調するとともに、公開済みのトリムド動画データセットからの知識蒸留を実施することで、THUMOS14およびActivityNet1.3で最先端の性能を達成し、弱教師ありおよび一部の完全教師ありベースラインを上回る。

ABSTRACT

Action recognition in videos has attracted a lot of attention in the past decade. In order to learn robust models, previous methods usually assume videos are trimmed as short sequences and require ground-truth annotations of each video frame/sequence, which is quite costly and time-consuming. In this paper, given only video-level annotations, we propose a novel weakly supervised framework to simultaneously locate action frames as well as recognize actions in untrimmed videos. Our proposed framework consists of two major components. First, for action frame localization, we take advantage of the self-attention mechanism to weight each frame, such that the influence of background frames can be effectively eliminated. Second, considering that there are trimmed videos publicly available and also they contain useful information to leverage, we present an additional module to transfer the knowledge from trimmed videos for improving the classification performance in untrimmed ones. Extensive experiments are conducted on two benchmark datasets (i.e., THUMOS14 and ActivityNet1.3), and experimental results clearly corroborate the efficacy of our method.

研究の動機と目的

• ビデオレベルのアノテーションのみを用いた非トリムド動画におけるアクティビティ認識の課題に取り組むこと。これはフレームレベルのアノテーションよりもコストが低い。
• 公開済みのトリムド動画データセットからの知識転送により、非トリムド動画認識におけるモデルのロバスト性を向上させること。
• アクティビティ関連フレームを強調するフレームレベルの注意重みを学習することで、時間的アクティビティ局所化を可能にすること。
• 自己注意とクロスドメイン知識転送を統合した統一フレームワークを構築し、性能を向上させること。

提案手法

• 本手法は、非トリムドおよびトリムド動画の両方から高レベルの意味的特徴を抽出するために、2ストリームのCNN（RGBおよびオプティカルフロー）を採用する。
• 非トリムド動画の特徴に自己注意モジュールを適用し、フレームレベルの重みを割り当て、アクティビティ関連フレームを強調する。
• ドメインの違いを最小限に抑えるために、トリムドおよび非トリムド動画の特徴間のドメイン差を低減する知識転送モジュールを導入する。
• 注意学習の安定化と特徴の識別性向上を図るために正則化損失を用いる。
• 知識転送は特徴レベルの適応を通じて実施され、トリムドおよび非トリムドデータセットの間で共有されるクラスを用いて明示的な転送が行われる。
• 最終的な予測は、自己注意重みとソフトマックススコアを組み合わせることで、アクティビティインスタンスの局所化を実現する。

実験結果

リサーチクエスチョン

• RQ1 弱教師あり条件下で、自己注意機構は非トリムド動画におけるアクティビティフレームを効果的に局所化できるか？
• RQ2 トリムド動画からの知識転送は、非トリムド動画ベンチマークにおけるアクティビティ認識性能を向上させるか？
• RQ3 自己注意と知識蒸留の統合は、モデルの一般化性能および局所化精度にどのように影響を与えるか？
• RQ4 ビデオレベルラベルのみを用いて、認識と局所化を同時に最適化できる統一フレームワークを構築できるか？

主な発見

• TSRNetはTHUMOS14で最先端のmAPを達成し、既存の弱教師あり手法を上回り、一部の完全教師あり手法をも凌駕する。
• ActivityNet1.3では、UCF101の重複クラスを用いた事前学習を施すことで、検出性能が向上し、優れた結果を達成する。
• 2ラウンドの特徴適応による知識転送は、1回の転送よりも優れた性能を示し、多段階の特徴アライメントの利点を示している。
• 定性的な結果から、自己注意機構がアクティビティフレームを効果的に特定していることが示されており、注意重みが正例のアクティビティ境界とよく一致している。
• 正則化損失と知識転送を備えたモデルは、両データセットの全IoU閾値において顕著な性能向上を示す。