[論文レビュー] Weakly-Supervised Action Localization with Expectation-Maximization Multi-Instance Learning

Zhekun Luo, Devin Guillory+5 more|arXiv (Cornell University)|Mar 31, 2020

Human Pose and Action Recognition参考文献 44被引用数 25

ひとこと要約

本論文は、弱教師付きアクションローカライゼーションのための期待値最大化マルチインスタンス学習（EM-MIL）フレームワークを提案する。このフレームワークは、隠れ変数としてのキーインスタンスの割り当てを明示的にモデル化することで、MILの仮定に整合性を高め、THUMOS14およびActivityNet1.2で最先端の性能を達成している。キーインスタンスの疑似ラベルと分類を交互に最適化するEMステップを繰り返すことで、背景の一貫性を明示的にモデル化し、MILの原則に内在する暗黙の違反を回避する。

ABSTRACT

Weakly-supervised action localization requires training a model to localize the action segments in the video given only video level action label. It can be solved under the Multiple Instance Learning (MIL) framework, where a bag (video) contains multiple instances (action segments). Since only the bag's label is known, the main challenge is assigning which key instances within the bag to trigger the bag's label. Most previous models use attention-based approaches applying attentions to generate the bag's representation from instances, and then train it via the bag's classification. These models, however, implicitly violate the MIL assumption that instances in negative bags should be uniformly negative. In this work, we explicitly model the key instances assignment as a hidden variable and adopt an Expectation-Maximization (EM) framework. We derive two pseudo-label generation schemes to model the E and M process and iteratively optimize the likelihood lower bound. We show that our EM-MIL approach more accurately models both the learning objective and the MIL assumptions. It achieves state-of-the-art performance on two standard benchmarks, THUMOS14 and ActivityNet1.2.

研究の動機と目的

• アテンションベースの弱教師付きアクションローカライゼーションモデルが、負のバッグにアテンションを適用することで、MIL仮定を暗黙的に違反するという限界を是正すること。
• MILフレームワーク内でのキーインスタンスの割り当てを隠れ変数として明示的にモデル化することで、ローカライゼーションの正確性を向上させること。
• 弱教師付き動画アクションローカライゼーションにおけるポジティブバッグとネガティブバッグの真のデータ生成プロセスにより適した学習手順を構築すること。
• シンプルなアーキテクチャを維持しながら、標準ベンチマークで最先端の性能を達成すること。

提案手法

• 2ブランチアーキテクチャを提案：キーインスタンスの割り当てブランチ（qϕ）と分類ブランチ（pθ）を、EMステップを交互に最適化する。
• 2つの新しい疑似ラベル生成スキームを導入：Eステップ（キーインスタンスの割り当て）とMステップ（分類）の両方を、MIL目的関数の下界の尤度から導出する。
• 交互学習を採用：qϕを固定して、疑似ラベル付きキーインスタンスを用いてpθを学習し、次にpθを固定してqϕを改善する。繰り返し、尤度下界を最適化する。
• ネガティブバッグを一様に負のインスタンスとして明示的にモデル化し、アテンションベースのモデルが非アクションセグメントにアテンションを向ける傾向を回避する。
• 入力として固定されたI3D特徴を用い、MILに基づく割り当ておよび分類ヘッドの学習に焦点を当てる。
• 分類スコアとキーインスタンスの割り当てスコアの重み付き組み合わせを用いて最終的なローカライゼーション予測を生成し、ハイパーパrameter λ を各データセットごとに調整する。

実験結果

リサーチクエスチョン

• RQ1 EMフレームワーク内でキーインスタンスの割り当てを隠れ変数として明示的にモデル化することで、アテンションベースのMILと比較してローカライゼーションの正確性が向上するか？
• RQ2 アテンションベースのモデルは、ネガティブバッグが一様に負のインスタンスから構成されるというMIL仮定をどの程度違反しているか？
• RQ3 EM-MILアプローチは、弱教師付きアクションローカライゼーションにおけるポジティブバッグとネガティブバッグの真のデータ生成プロセスをよりよくモデル化できるか？
• RQ4 EM-MILフレームワークの性能は、標準ベンチマークにおける最先端の弱教師付き手法と比較してどの程度か？

主な発見

• 提案されたEM-MILモデルは、THUMOS14ベンチマークで30.5%のmAP@0.5を達成し、先行手法を上回る最先端の性能を示した。
• ActivityNet1.2では、mAP@0.5が37.4%、mAP@0.7が23.1%、mAP@0.9が2.0%を達成し、弱教師付きアプローチの中で最も高い水準に位置づけられた。
• アブレーションスタディの結果、疑似ラベルと交互学習を組み合わせた完全なEM-MILフレームワークにより、THUMOS14のmAP@0.5が24.5%から30.5%に向上し、提案されたコンponentsの有効性が裏付けられた。
• ActivityNet1.2では分類スコアへの依存度が高まる（λ=0.7 for P_t,c）ことから、このデータセットでは分類性能がボトルネックであると考えられ、THUMOS14とは異なりキーインスタンスの割り当てがより重要である（λ=0.8）と示唆された。
• 本手法はネガティブバッグへのアテンションを明示的に回避しており、MIL仮定に整合し、誤検出の提案を低減した。
• 可視化結果から、本モデルはアテンションベースのモデルよりもより包括的なアクション提案を生成していることがわかった。アテンションベースのモデルはしばしばアクションの一部を漏らす傾向がある。