[論文レビュー] Action Unit Memory Network for Weakly Supervised Temporal Action Localization

Wang Luo, Tianzhu Zhang+5 more|arXiv (Cornell University)|Apr 29, 2021

Human Pose and Action Recognition参考文献 56被引用数 7

ひとこと要約

本論文は、視覚的モチーフテンプレートの学習可能なメモリバンクを用いてアクションユニットをモデル化する、弱教師付き時系列行動局所化のための新規フレームワークであるAction Unit Memory Network (AUMN)を提案する。クロスアテンションによるセグメント分類器の整合性と自己アテンションによる文脈スムージングを統合し、多様性、均一性、スパarsityのメカニズムを組み合わせることで、AUMNは最先端の性能を達成し、THUMOS14におけるmAPの平均値をIoU閾値0.1–0.5の範囲で47.0%から52.1%に向上させた。

ABSTRACT

Weakly supervised temporal action localization aims to detect and localize actions in untrimmed videos with only video-level labels during training. However, without frame-level annotations, it is challenging to achieve localization completeness and relieve background interference. In this paper, we present an Action Unit Memory Network (AUMN) for weakly supervised temporal action localization, which can mitigate the above two challenges by learning an action unit memory bank. In the proposed AUMN, two attention modules are designed to update the memory bank adaptively and learn action units specific classifiers. Furthermore, three effective mechanisms (diversity, homogeneity and sparsity) are designed to guide the updating of the memory network. To the best of our knowledge, this is the first work to explicitly model the action units with a memory network. Extensive experimental results on two standard benchmarks (THUMOS14 and ActivityNet) demonstrate that our AUMN performs favorably against state-of-the-art methods. Specifically, the average mAP of IoU thresholds from 0.1 to 0.5 on the THUMOS14 dataset is significantly improved from 47.0% to 52.1%.

研究の動機と目的

• ビデオレベルのラベルのみを用いて、弱教師付き時系列行動局所化（TAL）における局所化の完全性と背景干渉の課題に対処すること。
• 再利用可能な視覚的モチーフパターンとしてのアクションユニットを、テンプレートのメモリバンクを学習することで明示的にモデル化すること。
• メモリテンプレート学習における多様性、均一性、スパarsityの制約を課すことにより、局所化のロバスト性を向上させること。
• 文脈特徴の精錬を向上させるために、一元的な二重アテンション機構を用いて時系列コンテキストモデリングとクラス固有のアテンションを統合すること。
• フレームレベルのアノテーションを一切用いずに、標準ベンチマークで最先端の性能を達成すること。

提案手法

• メモリバンクは、『走る』や『ジャンプする』などのアクション間で共有される視覚的および運動的パターンを表す、学習済みのアクションユニットテンプレートを格納する。
• クロスアテンションモジュールは、セグメントとテンプレート間の類似度を計算し、各ビデオセグメントに対して動的にアクション分類器を割り当てる。
• 自己アテンションモジュールは、セグメント間の時系列コンテキストを集約し、滑らかでより完全なクラス活性化シーケンス（CAS）を生成する。
• メモリバンクは、多様性（L_d）、均一性（L_h）、スパarsity（L_s）の3つの補助損失項を用いて、動的に更新され、一意でコン pact かつスパースなテンプレートが保証される。
• モデルは、MLPヘッドがテンプレートをアクションクラス空間に射影することで分類可能なビデオレベルラベルのみを用いて、エンドツーエンドで学習される。
• セグメントレベルの予測は、テンプレート類似度とアテンションスコアの重み付き融合により生成され、局所化とメモリ学習の共同最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 学習可能なアクションユニットテンプレートのメモリバンクは、弱教師付きTALにおける局所化の完全性を向上させることができるか？
• RQ2 ビデオレベルの監視のみで、共有される視覚的モチーフパターンとしてのアクションユニットを、どのように効果的にモデル化し、区別できるか？
• RQ3 多様性、均一性、スパarsityのメカニズムが、メモリバンクの品質と局所化性能をどの程度向上させるか？
• RQ4 自己アテンションを用いたコンテキスト集約は、滑らかでより完全なクラス活性化シーケンスをもたらすか？
• RQ5 提案されたAUMNフレームワークは、THUMOS14 や ActivityNet といった標準ベンチマークで、既存の最先端手法を上回る性能を達成できるか？

主な発見

• AUMNフレームワークは、THUMOS14データセットにおいて、IoU閾値0.1～0.5の範囲で平均mAPが52.1%に達し、前回の47.0%から顕著な向上を示した。
• 自己アテンションモジュールは、全IoU閾値で一貫して性能向上を示し、特に高い閾値（0.4–0.6）で最大の向上が観察された。これは、局所化の完全性が向上したことを示している。
• アブレーションスタディの結果、多様性、均一性、スパarsityの3つのメカニズムを併用することで、IoU = 0.5におけるmAPが3%向上し、個別のメカニズムよりも優れた性能を示した。
• テンプレート数（K）は性能に正の影響を及ぼし、THUMOS14ではK = 7で最適な結果が得られた。これはアクションユニットの十分なカバーが可能であることを示唆している。
• 定性的な分析から、異なるテンプレートがそれぞれ異なる視覚的パターン（例：『走る』、『ジャンプする』、『投げる』）に注目していることが確認され、正確で判別力のある局所化が可能であることが示された。
• 可視化結果から、自己アテンションモジュールが判別力が低いが関連性のあるセグメントの信頼度スコアを向上させ、見逃しを低減し、局所化の完全性を向上させていることが明らかになった。