[論文レビュー] Hallucinating Optical Flow Features for Video Classification

Yongyi Tang, Lin Ma+1 more|arXiv (Cornell University)|May 28, 2019

Advanced Image Processing Techniques参考文献 31被引用数 3

ひとこと要約

この論文では、計算コストの高い光学フロー推定に依存せずに、外観特徴から光学フロー特徴を生成するモーションハロシネーションネットワーク、MoNetを提案する。時間的および文脈的関係を同時にモデル化することで、2ストリーム動画分類において最大50%のFLOPsおよびストレージ削減を実現し、Kinetics-400およびYouTube-8Mで一貫した性能向上を達成するが、真値の光学フローと比較して精度の低下は最小限にとどまる。

ABSTRACT

Appearance and motion are two key components to depict and characterize the video content. Currently, the two-stream models have achieved state-of-the-art performances on video classification. However, extracting motion information, specifically in the form of optical flow features, is extremely computationally expensive, especially for large-scale video classification. In this paper, we propose a motion hallucination network, namely MoNet, to imagine the optical flow features from the appearance features, with no reliance on the optical flow computation. Specifically, MoNet models the temporal relationships of the appearance features and exploits the contextual relationships of the optical flow features with concurrent connections. Extensive experimental results demonstrate that the proposed MoNet can effectively and efficiently hallucinate the optical flow features, which together with the appearance features consistently improve the video classification performances. Moreover, MoNet can help cutting down almost a half of computational and data-storage burdens for the two-stream video classification. Our code is available at: https://github.com/YongyiTang92/MoNet-Features.

研究の動機と目的

• 2ストリーム動画分類における光学フロー推定の高い計算コストとストレージコストを解消すること。
• 光学フロー計算に依存せずに、外観特徴からモーション表現をハロシネートする手法を開発すること。
• 外観特徴と補完するように、ハロシネートされた光学フロー特徴を用いて2ストリーム動画分類の性能を向上させること。
• 光学フロー抽出および特徴抽出パイプラインを回避することで、大規模な動画分類を効率的に行えるようにすること。

提案手法

• MoNetは、外観特徴における時間的依存性と光学フロー特徴における文脈的関係を同時にモデル化する並列アーキテクチャを採用する。
• 再帰的拡張と残差接続を用いて、時間的および空間的文脈を跨いで情報伝達を実現する。
• 特徴ハロシネートを、長距離依存性を捉えるRNNに類似したモデル化と改善された文脈集約を活用する系列変換問題として定式化する。
• モデルは、外観特徴とI3Dで抽出された光学フロー特徴を用いてKinetics-400で事前学習され、その後YouTube-8Mに転移される。
• ハロシネートされた光学フロー特徴は、2ストリーム分類フレームワーク内で外観特徴と融合される。
• 学習された変換により、外観特徴から直接モーション特徴を生成することで、光学フロー計算とストレージを回避する。

実験結果

リサーチクエスチョン

• RQ1 明示的な光学フロー計算を伴わずに、外観特徴から光学フロー特徴を効果的にハロシネートできるか？
• RQ2 並列モデル化アプローチは、標準的なRNNに比べて、動画分類のための複雑なモーション表現を捉える上で優れているか？
• RQ3 ハロシネートされた光学フロー特徴は、計算コストおよびストレージコストを削減しつつ、2ストリーム動画分類の精度をどの程度向上できるか？
• RQ4 ハロシネートされたモーション表現は、YouTube-8Mのような大規模な動画データセットへどの程度一般化できるか？

主な発見

• ハロシネートされた2ストリームモデルは、線形分類器を用いてKinetics-400でトップ1正解率71.32%を達成し、NeXtVLADを用いることで72.40%に上昇し、単一ストリームの外観モデルよりも一貫した向上を示した。
• YouTube-8Mでは、ハロシネートされた2ストリームモデルがHit@1 88.62%、GAP@20 80.41%、MAP@20 79.39%、PERR 46.79%を達成し、全指標で単一の外観ストリームを上回った。
• 計算コストは、真値の光学フローを用いた場合の425 GFLOPsから、ハロシネートされた場合の224 GFLOPsにまで低下し、FLOPsをほぼ半減した。
• 光学フロー画像の保存が不要になったため、データストレージを約50%削減した。
• より深いMoNetアーキテクチャを用いることで性能が向上し、再帰的拡張戦略の有効性が裏付けられた。
• ハロシネートされた光学フロー特徴は、外観特徴と補完するのに十分な代表性を有しており、真値の光学フローを使用するモデルと比較して約2%の精度低下にとどまった。