[論文レビュー] Spatio-Temporal Instance Learning: Action Tubes from Class Supervision

Pascal Mettes, Cees G. M. Snoek|arXiv (Cornell University)|Jul 8, 2018

Human Pose and Action Recognition参考文献 52被引用数 4

ひとこと要約

本論文では、ビデオレベルのクラスラベルのみを用いて、動画内の行動局所化を弱教師付きで行うための、Spatio-Temporal Instance Learning (STIL) を提案する。STIL は、潜在変数を用いたマックスマージン目的関数により、フレームレベルのボックス候補から直接スパatio-temporal 動作チューブを学習する。先行する MIL ベースの手法よりも4つのデータセットで優れた性能を示し、最小限の監督のもとで最先端の性能を達成した。

ABSTRACT

The goal of this work is spatio-temporal action localization in videos, using only the supervision from video-level class labels. The state-of-the-art casts this weakly-supervised action localization regime as a Multiple Instance Learning problem, where instances are a priori computed spatio-temporal proposals. Rather than disconnecting the spatio-temporal learning from the training, we propose Spatio-Temporal Instance Learning, which enables action localization directly from box proposals in video frames. We outline the assumptions of our model and propose a max-margin objective and optimization with latent variables that enable spatio-temporal learning of actions from video labels. We also provide an efficient linking algorithm and two reranking strategies to facilitate and further improve the action localization. Experimental evaluation on four action datasets demonstrate the effectiveness of our approach for localization from weak supervision. Moreover, we show how to incorporate other supervision levels and mixtures, as a step towards determining optimal supervision strategies for action localization.

研究の動機と目的

• 事前計算されたスパatio-temporal 候補に依存する既存の弱教師付き行動局所化手法の限界を解消すること。
• ビデオレベルラベルとフレームレベルのボックス候補から直接、スパatio-temporal 動作の統合的学習を可能にすること。
• トレーニング時に真のボックスが不要なエンドツーエンドの行動チューブ学習モデルの開発。
• 文脈的情報およびマルチアクション情報を利用した効率的なリンクアルゴリズムと再ランク戦略により、局所化精度の向上。
• 最小限の作業で最適なアノテーション戦略を特定するために、混合された監督レベル（例：ビデオラベル、ポイント、ボックス）の統合を検討すること。

提案手法

• 潜在変数を用いたマックスマージン目的関数を提案し、フレーム間のスパatio-temporal 一貫性を保証しながら、ボックスレベルのモデルを学習する。
• 真のボックスが一切不要なゼロショットリンクアルゴリズムを導入し、フレームレベルのボックス候補から行動チューブを構築する。
• 強教師付き手法をインspire した空間分類と時間的リンクの分離を実装するが、弱教師付きに適応する。
• 2つの再ランク戦略を適用する：1つは文脈特徴に基づき、もう1つは動画内での複数アクションの共起を活用する。
• ビデオラベルに加えて、追加の監督レベル（例：ポイントやボックスアノテーション）を統合できるフレームワークを設計する。
• 潜在変数学習を最適化し、最良の行動チューブとそのスコアを同時に推論する。

実験結果

リサーチクエスチョン

• RQ1 事前に計算されたスパatio-temporal 候補に依存せずに、スパatio-temporal 行動局所化を効果的に行うことができるか？
• RQ2 事前提案を用いた MIL ベースの手法と比較して、ビデオレベルラベルからエンドツーエンドで行動チューブを学習する方法は、どのような利点を示すか？
• RQ3 文脈的情報およびマルチアクション関係に基づく再ランク戦略は、弱教師付き条件下で局所化性能をどの程度向上させ得るか？
• RQ4 異なる監督レベル（例：ビデオラベル、ポイント、ボックス）を組み合わせた場合、アノテーションコストと性能のトレードオフはどのようになるか？
• RQ5 本手法は、Sports1M や YouTube8M のような大規模な非トリムド動画データセットに対しても、ビデオレベルラベルのみでスケーラブルか？

主な発見

• 提案された Spatio-Temporal Instance Learning (STIL) は、4つのベンチマークデータセットで弱教師付き行動局所化において最先端の性能を達成した。
• 事前に計算された候補に依存する既存の MIL ベース手法よりも優れた性能を示し、局所化を学習プロセスに統合することの利点を実証した。
• ゼロショットリンクアルゴリズムは、真のボックスが一切不要な状態で、フレームレベルの候補から効果的に行動チューブを形成できた。
• 文脈特徴およびマルチアクション情報に基づく再ランク戦略により、特に複数のアクションを含む動画において、局所化精度がさらに向上した。
• ビデオレベルラベルのみで効果的な局所化が可能であり、平均して1動画あたり5秒のアノテーションコストにまで削減された。
• アブレーションスタディの結果、ビデオラベルに加えて最小限の追加監督（例：ポイントやボックスアノテーション）を組み合わせることで、性能が顕著に向上した。UCF Sports では、ポイントとビデオラベルを50:50で組み合わせた場合、1動画あたりのアノテーションコストが53.75秒にまで削減され、同時に精度も向上した。