[論文レビュー] Learning Latent Sub-events in Activity Videos Using Temporal Attention Filters

AJ Piergiovanni, Chenyou Fan+1 more|arXiv (Cornell University)|May 26, 2016

Human Pose and Action Recognition参考文献 16被引用数 12

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）と長短期記憶（LSTM）を用いたエンドツーエンド学習により、関連する時間的セグメントに動的に注目することで、アクティビティ動画内の潜在的サブイベントを学習する微分可能時間的アテンションフィルタを導入している。この手法は、HMDB51で68.4%の正確性を達成し、ベースラインを著しく上回り、'roll' や 'stretch' といった意味的に意味のあるサブイベントの有効な学習を示している。

ABSTRACT

In this paper, we newly introduce the concept of temporal attention filters, and describe how they can be used for human activity recognition from videos. Many high-level activities are often composed of multiple temporal parts (e.g., sub-events) with different duration/speed, and our objective is to make the model explicitly learn such temporal structure using multiple attention filters and benefit from them. Our temporal filters are designed to be fully differentiable, allowing end-of-end training of the temporal filters together with the underlying frame-based or segment-based convolutional neural network architectures. This paper presents an approach of learning a set of optimal static temporal attention filters to be shared across different videos, and extends this approach to dynamically adjust attention filters per testing video using recurrent long short-term memory networks (LSTMs). This allows our temporal attention filters to learn latent sub-events specific to each activity. We experimentally confirm that the proposed concept of temporal attention filters benefits the activity recognition, and we visualize the learned latent sub-events.

研究の動機と目的

• 高水準なアクティビティが変動する持続時間と速度を持つサブイベントから構成される複雑な時間的構造をモデル化する能力に欠ける既存のCNNベースのアクティビティ認識手法の限界を解決すること。
• 教師付きサブイベントアノテーションを必要とせずに、暗黙的に潜在的サブイベントを学習するエンドツーエンド学習が可能な時間的アテンションフィルタを可能にすること。
• 下位のCNNおよびLSTMアーキテクチャと同時に最適化可能な完全に微分可能な時間的アテンションフィルタを設計すること。
• 認識性能の向上を目的として、静的および動的適応型のアテンションフィルタ学習戦略を検討すること。
• 学習されたフィルタが実際のアクティビティ動画内の意味的に意味のあるサブイベントに対応しているかを可視化し、検証すること。

提案手法

• 本手法は、相対的時間座標における中心位置、持続時間、解像度でパラメータ化された一連の静的時間的アテンションフィルタを採用し、フレームレベルのCNN特徴量上に微分可能なガウスフィルタとして適用する。
• 各フィルタは、その時間窓内におけるフレーム特徴量の重み付き和を計算し、出力は連結されて全結合層を通過して分類に渡される。
• フィルタパラメータとCNN重みの両方がバックプロパゲーションを用いてエンドツーエンドで学習され、サブイベントアノテーションが不要となる。
• LSTMベースのバージョンでは、複数のイテレーションにわたり各動画ごとにフィルタパラメータを動的に調整し、動画固有のサブイベントに適応した注目を可能にする。
• 本アプローチは、VGG、C3D、TDDなどのフレームベースまたはセグメントベースのCNNアーキテクチャと互換性があり、固定および学習可能なフィルタ設定の両方で使用可能である。
• モデルは交差エントロピー損失を用いて学習され、HMDB51およびUCF101データセットで標準的なアクティビティ認識メトリクスを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 教師付きサブイベントアノテーションを必要とせずに、微分可能時間的アテンションフィルタがアクティビティ動画内の潜在的サブイベントを効果的に学習できるか？
• RQ2 CNNと時間的フィルタを同時にエンドツーエンドで最適化することで、標準的なプーリングや固定時間的ピラミッド手法と比較して、アクティビティ認識性能が向上するか？
• RQ3 LSTMベースのメカニズムにより、動画ごとにアテンションフィルタを動的に適応させることで、アクティビティ固有のサブイベントをよりよく捉えることができるか？
• RQ4 学習されたアテンションフィルタが、実世界のアクティビティにおける 'roll' や 'stretch' といった意味的に意味のあるサブイベントに対応しているか？
• RQ5 同じベース特徴量を用いた場合、提案手法は最先端の手法と比較してどのように性能を発揮するか？

主な発見

• TDD特徴量と各アクティビティに特化した時間的フィルタを用いた本手法は、HMDB51データセットで68.4%の正確性を達成し、平均プーリングを用いたベースラインTDDモデルの10.9%上回った。
• C3D特徴量を用いた場合、学習可能な時間的フィルタを用いた本手法は57.7%の正確性を達成し、時間的ピラミッドベースラインの49.7%を上回った。
• LSTMベースの動的フィルタ適応は静的フィルタを上回る性能を示し、C3D特徴量を用いた3つのフィルタ設定で43.03%の正確性を達成したのに対し、静的フィルタでは42.50%であった。
• 可視化により、学習されたフィルタがプッシュアップの 'doing down'、パンチの 'stretch'、サブレフォールの 'roll' および 'stand up' といった意味的に意味のあるサブイベントを捉えていることが確認された。
• 単一の特徴量タイプのみを用いた場合でも、本手法は複数の最先端手法を著しく上回り、学習されたサブイベントモデリングの有効性を示している。
• VGG、C3D、TDDといった複数のベースネットワークで性能が一貫して向上したため、時間的アテンションフィルタアプローチの一般化可能性が裏付けられた。