[論文レビュー] Technical Report: Temporal Aggregate Representations

Fadime Şener, Dibyadip Chatterjee+1 more|arXiv (Cornell University)|Jun 6, 2021

Human Pose and Action Recognition参考文献 12被引用数 4

ひとこと要約

本論文は、スケーラブルなスニペット特徴量と非局所注意機構を用いて、最近の状況と長期的な動画文脈の両方をモデル化することで、長期間の動画理解のためのマルチスケール時系列集約フレームワークを提案する。行動予測および認識タスクにおいて最先端の性能を達成し、Breakfastデータセットでは先行手法を最大11.4%上回り、EPIC-KITCHENS-100ではRGB、光流、オブジェクト、ROI特徴量のラテントフュージョンにより66.93%のトップ5正答率を達成した。

ABSTRACT

This technical report extends our work presented in [9] with more experiments. In [9], we tackle long-term video understanding, which requires reasoning from current and past or future observations and raises several fundamental questions. How should temporal or sequential relationships be modelled? What temporal extent of information and context needs to be processed? At what temporal scale should they be derived? [9] addresses these questions with a flexible multi-granular temporal aggregation framework. In this report, we conduct further experiments with this framework on different tasks and a new dataset, EPIC-KITCHENS-100.

研究の動機と目的

• 長期間の動画理解の課題に対処すること。これは、正確な行動予測および認識のための長期間にわたる時系列的文脈の推論を必要とする。
• 行動理解タスクにおいて、最近の状況と長期間にわたる文脈の両方を効果的にモデル化できる、異なる時系列的粒度とスコープ（最近 vs. 長期間）の最適化方法を調査すること。
• EPIC-KITCHENS-100やBreakfastなどの多様な長期間動画ベンチマークにおいて、柔軟でマルチスケールの時系列集約フレームワークの有効性を評価すること。
• 複雑で長期間にわたる行動をモデル化する際、Timeception や PIC よりも優れた性能を示す本手法の優位性を実証すること。

提案手法

• 本手法は2種類のスニペット特徴量を用いる：『最近』のスニペット（現在のフレームの数秒前の状況をカバー）と『長期間』のスニペット（最大10分までの長期的文脈を捉える）。
• 異なる時系列的粒度（例：最近用にK={2,3,5}、長期間用に{7,5,3}）におけるスニペット内でのフレーム特徴量のマックスプーリングにより、マルチスケール表現を計算する。
• 時系列集約ブロック（TAB）は、非局所ブロックを介して各『最近』スニペットとすべての『長期間』スニペットを結合し、長距離依存関係とクロスマダリティ注意をモデル化する。
• 結合ブロック（CB）は、最近の特徴量と長期間の特徴量の関係を学習するための非局所演算を適用し、複数のTABからの出力を連結して最終予測を行う。
• EPIC-KITCHENS-100では、RGB、光流、オブジェクト検出、ROI特徴量といった複数モodalの予測をラテントフュージョンすることで、モデルのロバスト性を向上させる。
• フレームワークはAdam最適化法、ドロップアウト（0.3）、学習率の段階的減少を用い、分類ヘッド以外のすべての層に512次元の線形層を適用して訓練される。

実験結果

リサーチクエスチョン

• RQ1 長期間の動画理解において、複数スケールにわたる時系列的関係はどのように効果的にモデル化できるか？
• RQ2 長期間の動画における正確な行動予測および認識に最適な文脈の期間と粒度は何か？
• RQ3 Timeception や PIC といった既存手法と比較して、マルチスケール時系列集約は長期間の行動をどのように効果的にモデル化できるか？
• RQ4 RGB、光流、オブジェクト、ROI といったマルチモーダル特徴量は、EPIC-KITCHENS-100 などのエゴセントリック動画ベンチマークで性能をどの程度向上させるか？
• RQ5 提案されたフレームワークは、タスク固有の再トレーニングなしに、予測と認識といった異なる動画タスクに一般化可能か？

主な発見

• Breakfastデータセットでは、微調整なしで80.8%の正答率を達成し、Timeception [5] よりも11.4%、I3Dベースラインよりも16.5%高い性能を示した。
• 微調整済みのI3D特徴量を用いることで、89.8%の正答率を達成し、PIC [6] よりも3.1%高い性能を示し、複雑で長期間にわたる行動の認識において優れた性能を発揮した。
• EPIC-KITCHENS-100では、RGB、光流、オブジェクト、ROIの全モダリティをラテントフュージョンした結果、検証セットで66.93%のトップ5正答率を達成し、個々のモダリティの結果を顕著に上回った。
• RGBのみのモデルが動詞および名詞認識で最も優れた性能を示したが、フュージョンにより末尾クラスや未学習参加者に対する性能が向上し、ドメインシフトに対して強いロバスト性を示した。
• 認識タスクでは、テストセットでトップ1正答率62.68%、トップ5正答率64.05%を達成し、未学習参加者に対するトップ5リCALLは24.99%を記録し、優れた一般化性能を示した。
• 予測タスクでは、フュージョンモデルがテストセットでトップ5リCALL 30.57%を達成し、未学習参加者では25.26%を記録し、将来の行動予測を効果的にモデル化できた。