[論文レビュー] Exploring Temporally Dynamic Data Augmentation for Video Recognition

Taeoh Kim, Jin-Hyung Kim+5 more|arXiv (Cornell University)|Jun 30, 2022

Human Pose and Action Recognition被引用数 5

ひとこと要約

本稿では、動的時間的変動を示すデータ拡張フレームワークであるDynaAugmentを提案する。この手法は、フーリエサンプリングを用いて、動画フレーム全体にわたる滑らかで多様かつ現実的な時間的変動を生成する。本手法は、多様な動画認識タスクおよびデータセットにおいて顕著な性能向上を達成し、UCF-101で静的拡張ベースラインを最大13.3%上回るトップ1精度を達成するとともに、劣化した動画においても優れた耐性を示す。

ABSTRACT

Data augmentation has recently emerged as an essential component of modern training recipes for visual recognition tasks. However, data augmentation for video recognition has been rarely explored despite its effectiveness. Few existing augmentation recipes for video recognition naively extend the image augmentation methods by applying the same operations to the whole video frames. Our main idea is that the magnitude of augmentation operations for each frame needs to be changed over time to capture the real-world video's temporal variations. These variations should be generated as diverse as possible using fewer additional hyper-parameters during training. Through this motivation, we propose a simple yet effective video data augmentation framework, DynaAugment. The magnitude of augmentation operations on each frame is changed by an effective mechanism, Fourier Sampling that parameterizes diverse, smooth, and realistic temporal variations. DynaAugment also includes an extended search space suitable for video for automatic data augmentation methods. DynaAugment experimentally demonstrates that there are additional performance rooms to be improved from static augmentations on diverse video models. Specifically, we show the effectiveness of DynaAugment on various video datasets and tasks: large-scale video recognition (Kinetics-400 and Something-Something-v2), small-scale video recognition (UCF- 101 and HMDB-51), fine-grained video recognition (Diving-48 and FineGym), video action segmentation on Breakfast, video action localization on THUMOS'14, and video object detection on MOT17Det. DynaAugment also enables video models to learn more generalized representation to improve the model robustness on the corrupted videos.

研究の動機と目的

• 静的データ拡張の限界、特にカメラの動きや照明変化といった現実世界の時間的変動をモデル化できない点を是正すること。
• 時間的に変動する拡張マグニチュードをシンプルかつ効果的に実現するフレームワークを開発し、モデルの汎化性能と耐性を向上させること。
• ハイパーパrameterの複雑さを低減しつつ、時間的拡張パターンの多様性と現実性を最大化すること。
• 時間的ダイナミクスを考慮した動画固有の特性に適した、既存の自動拡張探索空間を拡張すること。
• 動的拡張の有効性を、アクション認識、セグメンテーション、ロケーション、検出を含む多様な動画認識タスクで検証すること。

提案手法

• フーリエサンプリングを用いて、正弦波基底関数とランダムな周波数・振幅を組み合わせることで、時間的動的拡張マグニチュードを生成するパラメータ化関数を提案する。
• 各フレームごとの拡張操作のマグニチュードを制御する統一的で微分可能なメカニズムを導入し、滑らかで現実的な時間的変化を保証する。
• ランダムオーガニゼーション（RandAugment）やトライビアルオーガニゼーション（TrivialAugment）などの自動拡張手法の探索空間を、時間的クロップ、フレームドロップ、タイムワープなど動画固有の操作を含めるように拡張する。
• 微分可能な探索戦略を採用し、拡張ポリシーと時間的ダイナミクスを同時に最適化することで、最小限の追加ハイパーパrameterでエンドツーエンド学習を可能にする。
• 下流タスクにおいて、3D動画バックボーン（例：Swin-Tiny）を用いて汎化性能と耐性を評価し、標準的な画像バックボーンを置き換える。
• アフィニティと多様性といった定量的指標を用いて、拡張データの品質を分析し、分布シフトを最小限に抑えつつ、一意なトレーニングサンプルを最大化することを保証する。

実験結果

リサーチクエスチョン

• RQ1 時間的動的データ拡張は、静的拡張と比較して、動画認識性能を顕著に向上させ得るか？
• RQ2 現実世界の動画における時間的変動（例：カメラの動きや照明変化）を、パラメータ化可能で微分可能な関数で効果的にモデル化できるか？
• RQ3 動的拡張マグニチュードを生成するためにフーリエサンプリングを用いることで、分布外および劣化した動画データに対する一般化性能と耐性が向上するか？
• RQ4 提案されたDynaAugmentフレームワークは、アクション認識、セグメンテーション、ロケーション、検出を含む多様な動画認識タスクにおいて、どの程度性能を向上させるか？
• RQ5 DynaAugmentの性能向上は、拡張の動的性質に起因するのか、それとも単に拡大された探索空間に起因するのか？

主な発見

• UCF-101において、静的RandAugmentベースラインと比較して、DynaAugmentはトップ1精度を13.3ポイント向上させ、85.3%のトップ1精度を達成した。
• Diving-48データセットでは、DynaAugmentが72.5%のトップ1精度を達成し、静的バージョン（68.3%）および線形や正弦波を用いた他の動的バージョンを上回った。
• 繰り返し実験における性能の標準偏差が低く抑えられ、ベースラインおよびTrivialAugmentと比較して、訓練の安定性と耐性が向上していることが示された。
• 劣化した動画において、特に高圧縮条件下で優れた一般化性能を示し、分布シフトに対する耐性が向上していることが確認された。
• アブレーションスタディの結果、主な性能向上要因は時間的ダイナミクスに起因しており、探索空間の変更とは異なり、DynaAugmentは広い探索空間を持つベースラインでさえも上回った。
• アフィニティと多様性指標の結果、DynaAugmentが生成する拡張データは、クリーンなデータと高い分布類似性（アフィニティ = 0.96）を示し、高い多様性（1.59）を有しているため、現実的で多様なトレーニングデータであることが示された。