[論文レビュー] Trimmed Action Recognition, Dense-Captioning Events in Videos, and Spatio-temporal Action Localization with Focus on ActivityNet Challenge 2019

Zhaofan Qiu, Dong Li+4 more|arXiv (Cornell University)|Jun 14, 2019

Human Pose and Action Recognition参考文献 27被引用数 8

ひとこと要約

本論文は、ActivityNet Challenge 2019向けに、フレーム、モーション（オプティカルフロー）、音声特徴をラテン統合により統合したマルチクルーチン動画理解フレームワークを提示する。トリムドアクション認識には、時間的アテンションとポリシー勾配を用いた2ストリームLSTMを採用し、密度のある動画キャプション生成を実現する。また、空間的・時間的アテンションとGCNベースの長距離モデリングを組み合わせた長期間短期的関係ネットワーク（LSTR）を導入し、空間的・時間的アクションロケーションを向上させる。AVAバリデーションセットでは30.5%のmAP、キャプションタスクのテストセットでは8.49%のMETEORを達成した。

ABSTRACT

This notebook paper presents an overview and comparative analysis of our systems designed for the following three tasks in ActivityNet Challenge 2019: trimmed action recognition, dense-captioning events in videos, and spatio-temporal action localization.

研究の動機と目的

• フレーム、ショートクリップ、オプティカルフローといった複数の空間的・時間的手がかりを統合することで、トリムドアクション認識の性能を向上させること。
• 2層LSTMに時間的アテンションとポリシー勾配最適化を組み合わせることで、非トリムド動画内のイベントを密度的かつ自然な言語記述として生成すること。
• クリップ間の短時間のヒューマンコンテキスト相互作用と、長期的な時間的依存関係を同時にモデリングすることで、空間的・時間的アクションロケーションの性能を向上させること。
• 動画レベルの表現学習における、平均プーリングと時間的畳み込みプーリング（TCP）の有効性を調査すること。
• ActivityNet Challenge 2019において、3つの動画理解タスク（アクション認識、キャプション生成、ロケーション）で最先端の性能を達成すること。

提案手法

• 2次元および3次元畳み込みニューラルネットワーク（LGD-P3D）を用いて、動画クリップから外観、モーション、音声特徴を抽出し、ResNet-101またはXceptionをバックボーンとして使用した。
• 平均プーリングと、新規の1次元時間的畳み込みプーリング（TCP）（5段階の深度分離残差ブロックを含む）を適用し、クリップレベル特徴から動画レベル表現を生成した。
• RGBとオプティカルフロー入力を用いた2ストリームフレームワークを採用し、予測結果をラテン統合することで、アクション認識およびロケーションの性能を向上させた。
• 3次元RoIプーリングを用いて候補領域特徴を抽出し、空間的・時間的アテンションで局所的コンテキストをモデル化し、GCNでクリップ間の長距離依存関係をモデリングする長期間短期的関係ネットワーク（LSTR）を設計した。
• 動画表現と検出された属性に条件づけられた文の記述を生成するため、時間的アテンションとポリシー勾配最適化を組み合わせた2層LSTMを採用した。
• イベント候補を検出する分類パイプラインを用い、その後にアテンション付きの動画特徴と属性条件に基づいた文生成を実施した。

実験結果

リサーチクエスチョン

• RQ1 効果的に統合されたフレーム、クリップ、モーションといった複数の空間的・時間的手がかりは、トリムドアクション認識の向上にどのように寄与するか？
• RQ2 時間的アテンションとポリシー勾配最適化を組み合わせた2ストリームLSTMは、ActivityNet Captionsデータセットにおける密度的動画キャプション生成の性能を顕著に向上させることができるか？
• RQ3 短時間のヒューマンコンテキスト相互作用と長期的な時間的ダイナミクスを同時にモデリングすることで、空間的・時間的アクションロケーションの性能を向上させられるか？
• RQ4 動画理解タスクにおける動画レベル表現学習において、平均プーリングと時間的畳み込みプーリング（TCP）の相対的な有効性は何か？
• RQ5 RGB、フロー、音声といったマルチモodal特徴のラテン統合は、アクション認識、キャプション生成、ロケーションの各タスクにおいて、性能向上にどの程度寄与するか？

主な発見

• 2ストリームのラテン統合（RGBとフロー）とマルチスケール推論を用いたフレームワークにより、空間的・時間的アクションロケーションでAVAバリデーションセットで30.5%のmAPを達成した。
• キャプションモデルにポリシー勾配最適化を追加したことで、METEORスコアがバリデーションで9.81から10.30に向上し、テストセットでは8.49%のMETEORを達成した。
• 時間的畳み込みプーリング（TCP）を用いることで、平均プーリングに比べてより判別性の高い動画レベル表現が得られ、認識性能の向上に寄与した。
• 空間的・時間的アテンションとGCNベースの長距離モデリングを統合したLSTRフレームワークは、局所的相互作用とグローバルダイナミクスの両方を捉えることで、アクションロケーションの特徴表現を顕著に向上させた。
• フレーム、モーション、音声特徴のラテン統合により、トリムドアクション認識の性能が顕著に向上し、マルチクルーチン統合の価値が裏付けられた。
• 本システムは、ActivityNet Challenge 2019のフレームワーク内において、3つの異なる動画理解タスク（アクション認識、密度的キャプション生成、ロケーション）にわたる強力な汎化性能を示した。