[論文レビュー] ECO: Efficient Convolutional Network for Online Video Understanding

Mohammadreza Zolfaghari, Kamaljeet Singh+1 more|arXiv (Cornell University)|Apr 24, 2018

Human Pose and Action Recognition被引用数 19

ひとこと要約

ECOは、キーフレームにおけるスパARSE 2D畳み込みと、時間的にサンプリングされたフレームにおける3D畳み込みを組み合わせることで、長距離の動画コンテキストを捉える効率的な2ストリーム3D CNNアーキテクチャを提案する。25〜50%のフレームのみをサンプリングし、特徴を早期に融合させることで、ECOはアクション認識および動画キャプション生成において最先端の精度を達成しながら、最大230 FPSで動画を処理することができ、従来手法の10〜80倍の高速化を実現した。

ABSTRACT

The state of the art in video understanding suffers from two problems: (1) The major part of reasoning is performed locally in the video, therefore, it misses important relationships within actions that span several seconds. (2) While there are local methods with fast per-frame processing, the processing of the whole video is not efficient and hampers fast video retrieval or online classification of long-term activities. In this paper, we introduce a network architecture that takes long-term content into account and enables fast per-video processing at the same time. The architecture is based on merging long-term content already in the network rather than in a post-hoc fusion. Together with a sampling strategy, which exploits that neighboring frames are largely redundant, this yields high-quality action classification and video captioning at up to 230 videos per second, where each video can consist of a few hundred frames. The approach achieves competitive performance across all datasets while being 10x to 80x faster than state-of-the-art methods.

研究の動機と目的

• 長時間の動画処理における3D CNNの計算コストの高さに起因する非効率性に対処する。
• 長期間にわたる時間的コンテキストを効果的に統合できない窓ベースの手法の限界を克服する。
• 高速な1フレームあたりの推論と長距離コンテキストモデリングを組み合わせることで、リアルタイムかつオンラインでの動画理解を可能にする。
• フレームの冗長性を活用し、早期の特徴融合を実施することで、最小限の計算オーバーヘッドで競争力のある性能を達成する。
• オフライン動画分類とオンラインアクション認識の両方をサポートし、観察されたフレームの増加に伴い予測を段階的に精度向上させる。

提案手法

• 時間的セグメントごとに1つの代表フレームから外見特徴を抽出するために2D CNNを用い、冗長性を低減する。
• 時間的にサンプリングされたフレームに3D CNNを適用し、離れたフレーム間の長距離時間的依存関係をモデル化する。
• 最新のフレームを優先するインクリメンタルなサンプリング戦略を実装し、新規フレームの50%と以前に保存されたサンプリングフレームの50%を組み合わせる。
• 3D処理済みの特徴を2Dストリームにフィードすることで、特徴を早期に融合させ、空間的および時間的表現の共同最適化を可能にする。
• 動的サンプリングキュー（QF）とフレームストレージ（SF）を用いて、時間的重要性を維持しながらメモリ使用量を最小限に抑える。
• 複数のサンプリングウィンドウにわたるスコア平均化を適用し、耐性および汎化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド2D-3D CNNアーキテクチャは、リアルタイム推論速度を維持しながら、動画理解において高い精度を達成できるか？
• RQ2 フレームのスパARSEなサンプリングは、長時間の動画理解タスクにおける性能にどのように影響を与えるか？
• RQ3 2Dおよび3D特徴の早期融合は、後続のスコア統合に比べて、長期的アクション認識で優れた性能を発揮できるか？
• RQ4 より多くのフレームが観察されるにつれて予測を段階的に精錬することで、オンライン動画理解はどの程度向上できるか？
• RQ5 本手法のサンプリング戦略は、密サンプリングまたは均一サンプリングと比較して、精度と効率の面でどのように差がつくか？

主な発見

• ECOは最大230フレーム/秒で動画を処理し、最先端の手法と比較して10〜80倍の高速化を達成した。
• UCF101では24フレームをサンプリングした場合に93.3%の精度を達成し、8フレームのみでも92%を超える精度を達成した。
• HMDB51では32フレームをサンプリングした場合に69.48%の精度を達成し、同程度の推論速度を持つ従来手法を上回った。
• オンラインアクション認識では、動画の20%しか観察していない段階で90%を超える精度を達成し、優れた初期予測能力を示した。
• 動画キャプション生成においては、ECOが生成したキャプションはSCNのものよりも正確であり、視覚的コンテンツへの適合性が向上した（例：'piano' vs. 'keyboard'、'bicycle' vs. 'scooter'）。
• ECOは多様な動画長にわたり高い性能を維持しており、短い動画ではスパARSEサンプリングが、より長い動画では密サンプリングがより効果的であることがわかった。