[論文レビュー] Temporal Query Networks for Fine-grained Video Understanding

Chuhan Zhang, Ankush Gupta+1 more|arXiv (Cornell University)|Apr 19, 2021

Human Pose and Action Recognition参考文献 24被引用数 4

ひとこと要約

本稿では、各アクションクラスをトリムされていない動画から回答すべきクエリとして扱うことで、微細な動画アクション認識を可能にする、Transformerに基づくアーキテクチャ「時系列クエリネットワーク（TQN）」を提案する。時系列アテンションと確率的特徴バンクを用い、密なメモリ効率の良い学習を実現し、RGB特徴量のみを用いてFineGymおよびDiving48で最先端の性能を達成した。これは、変動する期間にわたり短く繊細なアクションを優れたモデル化により実現した。

ABSTRACT

Our objective in this work is fine-grained classification of actions in untrimmed videos, where the actions may be temporally extended or may span only a few frames of the video. We cast this into a query-response mechanism, where each query addresses a particular question, and has its own response label set. We make the following four contributions: (I) We propose a new model - a Temporal Query Network - which enables the query-response functionality, and a structural understanding of fine-grained actions. It attends to relevant segments for each query with a temporal attention mechanism, and can be trained using only the labels for each query. (ii) We propose a new way - stochastic feature bank update - to train a network on videos of various lengths with the dense sampling required to respond to fine-grained queries. (iii) We compare the TQN to other architectures and text supervision methods, and analyze their pros and cons. Finally, (iv) we evaluate the method extensively on the FineGym and Diving48 benchmarks for fine-grained action classification and surpass the state-of-the-art using only RGB features.

研究の動機と目的

• アクションが一時的で視覚的に繊細な未トリム動画における微細なアクション認識を解決すること。この場合、正確な時系列局所化が求められる。
• 各アクションクラスを動画から回答すべき独立した質問として扱うクエリベースの動画理解を可能にすること。
• GPUメモリ制限がある中で、長大な未トリム動画に対して密な時系列サンプリングで効果的にモデルを学習すること。
• フレームレベルのアノテーションやボクシングボックスが不要な弱教師付き学習をサポートする学習フレームワークを開発すること。この場合、クエリレベルのラベルのみが利用可能である。
• 光学フローまたは3D畳み込みを用いず、RGB特徴量のみで、微細なベンチマークにおいて既存手法を上回る精度を達成すること。

提案手法

• 時系列クエリネットワーク（TQN）は、各クエリに対して関連する動画セグメントに注目することで、クエリ固有の応答予測を可能にするTransformerベースのアーキテクチャを採用する。
• 各クエリは、マルチヘッド自己アテンションを介して全動画を走査する学習可能クエリベクトルに関連付けられ、関連する時系列セグメントに注目する。
• 密サンプリングに対応するため、確率的特徴バンクを導入。各学習ステップで、密にサンプリングされたクリップから特徴量のランダムサブセットのみを計算し、逆伝播を行う。
• トレーニング中に特徴バンクを確率的に更新することで、GPUメモリを枯渇させることなく、多様な時系列コンテキストから学習できる。
• ボクシングボックスやフレームレベルのアノテーションが不要で、クエリレベルのラベルのみを用いて、エンドツーエンドでモデルを学習する。
• 微細な時系列感度を持つ全動画期間にわたるアテンションにより、短時間アクション（例：0.3秒）と長時間シーケンスの両方を効果的に処理できる。

実験結果

リサーチクエスチョン

• RQ1 学習可能なアテンションメカニズムを備えたクエリ・リスポンスフレームワークは、未トリム動画における微細なアクションの局所化と分類に有効に機能するか？
• RQ2 GPUメモリ制限がある中で、長大な未トリム動画に対して密な時系列サンプリングで効率的に深層学習モデルを学習できるか？
• RQ3 光学フローまたは3D畳み込みを用いず、RGB特徴量のみで微細なアクション認識において最先端の性能を達成できるか、その程度はいかほどか？
• RQ4 確率的特徴バンクの更新戦略は、標準的な学習法と比較して、長時間の動画シーケンスにおける収束性と性能にどのような影響を及えるか？
• RQ5 拡張され密な時系列コンテキストは、微細な動画理解における繊細なアクション差をモデル化する上で、どのような影響を及えるか？

主な発見

• TQNモデルは、RGB特徴量のみを用いてFineGymデータセットで最先端の性能を達成した。
• Diving48ベンチマークでは、追加の監視情報や光学フローを用いる既存手法でさえも、確率的特徴バンクを備えたTQNが上回った。
• アブレーションスタディにより、長時間の動画と密サンプリングにおけるトレーニングの安定性と性能にとって、確率的特徴バンクが不可欠であることが確認された。
• モデルは短く繊細なアクション（例：0.3秒）に対して優れた一般化性能を示し、時系列アテンションが微細な信号を保持できることを示した。
• クエリベースのメカニズムにより、視覚的に類似したが時系列構造が異なるアクションの区別がより良くなった。
• 物体や背景の手がかりに依存せず、微細なアクション認識の課題に強く対応できる。