[論文レビュー] Memory Warps for Learning Long-Term Online Video Representations

Tuan-Hung Vu, Wongun Choi+2 more|arXiv (Cornell University)|Mar 28, 2018

Human Pose and Action Recognition参考文献 39被引用数 14

ひとこと要約

本論文では、将来のフレームに依存せずに長期的な時系列モデリングを可能にする、空間的な特徴記憶の変形を用いたメモリベースのオンライン動画表現フレームワーク、MemNet と ClockNet を提案する。このアプローチは、ImageNet-VID で最先端の精度を達成し、従来手法比で2.3倍の高速化を実現するとともに、予測可能な特徴の前もっての生成を可能にし、遅延を犠牲にすることなくリアルタイム検出器のmAPを10%以上向上させる。

ABSTRACT

This paper proposes a novel memory-based online video representation that is efficient, accurate and predictive. This is in contrast to prior works that often rely on computationally heavy 3D convolutions, ignore actual motion when aligning features over time, or operate in an off-line mode to utilize future frames. In particular, our memory (i) holds the feature representation, (ii) is spatially warped over time to compensate for observer and scene motions, (iii) can carry long-term information, and (iv) enables predicting feature representations in future frames. By exploring a variant that operates at multiple temporal scales, we efficiently learn across even longer time horizons. We apply our online framework to object detection in videos, obtaining a large 2.3 times speed-up and losing only 0.9% mAP on ImageNet-VID dataset, compared to prior works that even use future frames. Finally, we demonstrate the predictive property of our representation in two novel detection setups, where features are propagated over time to (i) significantly enhance a real-time detector by more than 10% mAP in a multi-threaded online setup and to (ii) anticipate objects in future frames.

研究の動機と目的

• 将来のフレームに依存せずに長期的な時系列的文脈を活用する、効率的で正確かつ予測可能なオンライン動画表現の開発。
• 動画表現学習における3次元畳み込みと非因果的特徴集約の限界の解決。
• 歪みのある記憶を用いた特徴の伝搬と予測を可能にすることで、オンライン動画処理における予測機能の実現。
• 遅延を増やさずに、より遅くも強力な検出器からの表現をメモリ変形を用いて融合することで、リアルタイムオブジェクト検出の性能向上。
• 延長された時間的範囲にわたる情報を効率的に集約できるマルチスケールアーキテクチャの設計。

提案手法

• 特徴表現の記憶を維持し、移動場を用いてフレーム間で空間的に変形させることで、カメラやオブジェクトの動きを補償するMemNetを提案。
• 各フレームごとに1回のワープ計算で十分であり、従来手法のフレームごとのワープ計算と比較して、計算コストを顕著に削減。
• 長距離の時系列情報を効率的に集約するために、複数の時間スケールで動作する階層的アーキテクチャであるClockNetを導入。
• 新しい画像特徴とワープされた記憶特徴を単純平均または学習された重み付けで組み合わせることで、適応的特徴集約を実現。
• 移動場の推定に事前学習済みのFlowNetを活用し、オブジェクト検出器と同時に微調整することで、動きの整合性を向上。
• 因果的でオンラインな設定下で、メモリベースの表現をオブジェクト検出に適用し、特徴の伝搬と予測を可能に。

実験結果

リサーチクエスチョン

• RQ1 メモリベースの動画表現は、オンライン動画処理において、因果的かつ効率的に長期的な時系列的依存関係を学習できるか？
• RQ2 記憶特徴の空間的変形は、動き、遮蔽、外観変化に対して、精度と頑健性をどのように向上させるか？
• RQ3 メモリ表現は、将来の特徴を予測するなど、予測機能を実現できるか？
• RQ4 ClockNetにおけるマルチスケール時系列集約は、単一スケールのメモリネットワークと比較して、性能をどのように向上させるか？
• RQ5 速度と精度の観点から、非因果的または3次元畳み込みベースの手法に比べ、メモリ変形はどの程度優れているか？

主な発見

• 提案されたMemNetは、従来の最先端手法FGFAと比較して2.3倍の高速化を達成しながら、ImageNet-VIDで同等の精度を維持し、mAPは0.9%の低下にとどまる。
• ClockNetは、ImageNet-VIDにおけるフレームごとのR-FCNベースラインと比較して2.2%のmAP向上を達成し、非因果的FGFAでさえも上回る精度を実現しながら、実行時間は低く抑えられている。
• メモリベースのフレームワークにより、遅延を増やさずに、より遅い検出器からの特徴をメモリ変形を用いて融合することで、リアルタイム検出のmAPが10.3%向上した。
• ClockNetは、長時間の予測長（δ > 10フレーム）においても高い性能を維持し、このタスクではMemNetを上回る性能を示した。
• 除去実験の結果、単純な平均化による記憶特徴と入力特徴の統合が、複雑な適応的重み付け方式と同等の性能を示し、集約設計に対する頑健性を示唆した。
• 検出器と同時に微調整されたFlowNetは、動き推定を向上させ、より一貫性があり、オブジェクト全体をカバーする動き場を生成し、特徴の整合性を向上させた。