[論文レビュー] Temporal Aggregate Representations for Long-Range Video Understanding

Fadime Şener, Dipika Singhania+1 more|arXiv (Cornell University)|Jun 1, 2020

Human Pose and Action Recognition参考文献 9被引用数 7

ひとこと要約

本論文は、長期間の動画理解を向上させるために、多スケール時系列集約を用いた柔軟でワンステージのフレームワークを提案する。動画スニペットにおける最大プーリングとアテンションを組み合わせることで、最近の文脈と長期間の文脈の両方をモデル化する。本フレームワークは、Breakfast、50Salads、EPIC-Kitchensにおいて、アクション予測、認識、セグメンテーションの各タスクで最先端の性能を達成し、アーキテクチャの変更を最小限に抑える。

ABSTRACT

Future prediction, especially in long-range videos, requires reasoning from current and past observations. In this work, we address questions of temporal extent, scaling, and level of semantic abstraction with a flexible multi-granular temporal aggregation framework. We show that it is possible to achieve state of the art in both next action and dense anticipation with simple techniques such as max-pooling and attention. To demonstrate the anticipation capabilities of our model, we conduct experiments on Breakfast, 50Salads, and EPIC-Kitchens datasets, where we achieve state-of-the-art results. With minimal modifications, our model can also be extended for video segmentation and action recognition.

研究の動機と目的

• 長期間の動画理解における時間的範囲、スケーリング、意味的抽象化の課題に対処すること。
• アクション予測のための、最近の文脈と長期間の文脈の両方を効果的にモデル化すること。
• 教育的および日常的なアクティビティ動画を含む、多様な動画タイプに適応可能な柔軟なフレームワークを開発すること。
• 統一的でワンステージのアーキテクチャを用いて、予測、認識、時系列動画セグメンテーションの複数の動画理解タスクをサポートすること。
• 事前セグメンテーションデータや複雑なエンドツーエンド学習に依存することを減らすために、コン pact で階層的な時系列表現を用いること。

提案手法

• 長期間の動画を固定長のスニペットに分割し、各スニペット内でフレームレベル特徴量に対して最大プーリングを適用する。
• 下位から上位への階層的集約プロセスにより、最近のスニペットと長期間にわたるスニペットを組み合わせて多スケールの時系列集約を構築する。
• カップルドアテンション機構を用いて、現在の観測値と長期間の文脈を関連付け、効果的な長期間の推論を可能にする。
• モデルは視覚的特徴量とフレームレベルのアクションラベルの両方を入力として受け入れられ、入力の抽象化レベルの柔軟性を提供する。
• エンドツーエンドで学習可能であり、最小限の変更でアクション予測、認識、時系列動画セグメンテーションに適応可能である。
• 複数スケールにおけるアンサンブル学習により、特に密な予測や長時間予測において性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 長期間の動画理解において、多様な時間的範囲にわたり、時系列的文脈をどのように効果的にモデル化できるか？
• RQ2 正確なアクション予測に最適な意味的抽象化レベルと時間的粒度は何か？
• RQ3 1つの統一フレームワークが、複数の動画理解タスクで最先端の性能を達成できるか？
• RQ4 多スケールの時系列集約は、単一スケールまたは非集約的手法と比較して、性能をどのように向上させるか？
• RQ5 入力モodal（視覚的特徴量対フレームレベルラベル）が予測性能に与える影響はどの程度か？

主な発見

• 本モデルは、Breakfast、50Salads、EPIC-Kitchensの両方の設定（次アクション予測と密な予測）において、アクション予測で最先端の性能を達成した。
• EPIC-Kitchens S1では、密な予測で63.5%のF1スコアを達成し、先行手法のRU（55.3%）やLFB（55.3%）を上回った。
• EPIC-Kitchens S2では、密な予測で64.1%のF1スコアを達成し、RU（55.3%）やLFB（57.8%）を上回った。
• Breakfastにおける時系列動画セグメンテーションでは、5秒のウィンドウで59.2%のF1@50を達成し、MS-TCN（I3D）の52.6% F1@50に近い性能を示した。
• フレームレベルのラベルを入力として用いることで、視覚的特徴量よりも高い予測性能が得られた。これは、より高い抽象化レベルが長期間の推論を向上させることを示唆している。
• 本モデルは優れた一般化性能を示し、アーキテクチャの変更を最小限に抑えつつ、アクション認識およびセグメンテーションにおいても競争力のある結果を達成した。