[論文レビュー] Flow-Distilled IP Two-Stream Networks for Compressed Video Action Recognition

Shiyuan Huang, Xudong Lin+2 more|arXiv (Cornell University)|Dec 10, 2019

Human Pose and Action Recognition参考文献 34被引用数 8

ひとこと要約

本稿では、Iフレームを空間モデリングに、Pフレーム（運動ベクトルと残差を含む）を時間モデリングに用い、光学フロー特徴の蒸留を用いて軽量な2D-3Dネットワークを訓練する、圧縮ドメインにおける動画行動認識フレームワーク「Flow-Distilled IP Two-Stream Networks (IP TSN)」を提案する。本手法は、光学フローの60倍速い推論速度を達成するとともに、HMDB51では7%、UCF101では3%の精度向上を実現し、先行する圧縮ドメイン手法を上回り、復号済み動画ベースラインに近い性能を達成する。

ABSTRACT

Two-stream networks have achieved great success in video recognition. A two-stream network combines a spatial stream of RGB frames and a temporal stream of Optical Flow to make predictions. However, the temporal redundancy of RGB frames as well as the high-cost of optical flow computation creates challenges for both the performance and efficiency. Recent works instead use modern compressed video modalities as an alternative to the RGB spatial stream and improve the inference speed by orders of magnitudes. Previous works create one stream for each modality which are combined with an additional temporal stream through late fusion. This is redundant since some modalities like motion vectors already contain temporal information. Based on this observation, we propose a compressed domain two-stream network IP TSN for compressed video recognition, where the two streams are represented by the two types of frames (I and P frames) in compressed videos, without needing a separate temporal stream. With this goal, we propose to fully exploit the motion information of P-stream through generalized distillation from optical flow, which largely improves the efficiency and accuracy. Our P-stream runs 60 times faster than using optical flow while achieving higher accuracy. Our full IP TSN, evaluated over public action recognition benchmarks (UCF101, HMDB51 and a subset of Kinetics), outperforms other compressed domain methods by large margins while improving the total inference speed by 20%.

研究の動機と目的

• 2ストリーム動画行動認識モデルにおける光学フローの高い計算コストを解決すること。
• 動画コーデックにおけるIフレームとPフレームの内在的構造を活用することで、圧縮動画行動認識の効率性と精度を向上させること。
• Pフレームの運動ベクトルと残差を統合された動きストリームとして用いることで、重複する時間ストリームを排除すること。
• 明示的なフロー再構築を伴わずに、高レベルの光学フロー特徴を用いた蒸留戦略を構築すること。
• フル解像度動画手法に近い性能を維持しつつ、リアルタイム推論速度を確保すること。

提案手法

• モデルは2ストリームアーキテクチャを採用し、IストリームはRGB Iフレームを2次元畳み込みニューラルネットワーク（2D CNN）で処理して空間的外観を捉える。
• PストリームはPフレームの運動ベクトル（MV）と残差誤差（R）を2次元-3次元畳み込みニューラルネットワーク（2D-3D CNN）で処理し、空間時間的ダイナミクスをモデル化する。
• 訓練中に光学フロー特徴を監視として用い、Pストリームが明示的なフロー計算なしに動き表現を学習できるようにする。
• 一般化された蒸留を適用し、光学フローからMVおよびR特徴への動き知識の転送を実現し、特徴品質を向上させる。
• IストリームとPストリームを早期に統合し、最終的な行動予測を実行することで、重複する時間ストリームを回避する。
• クロスエントロピー損失と蒸留損失を併用して、エンドツーエンドで訓練することで、高い精度と速度を両立する。

実験結果

リサーチクエスチョン

• RQ1 Pフレームの構成要素（運動ベクトルと残差）は、2ストリーム動画認識における光学フローの代替として効果的に使用可能か？
• RQ2 明示的なフロー推定を伴わず、光学フローの高レベルな動き情報は、圧縮ドメイン特徴へどのように転送可能か？
• RQ3 統合されたPストリームアーキテクチャは、分離されたモダリティストリームを上回る性能を発揮できるか？
• RQ4 2ストリームフレームワークにおいて、光学フローをMVとRに置き換える際の、精度と推論速度のトレードオフはいかほどか？
• RQ5 光学フローからの蒸留は、圧縮動画行動認識の性能向上にどの程度寄与するか？

主な発見

• 提案されたIP TSNは、HMDB51でトップ1精度69.1%を達成し、以前の最良圧縮ドメイン手法（DMC-Net、61.8%）より7%向上した。
• UCF101では93.4%のトップ1精度に達し、以前の最良圧縮ドメイン手法を2.5%上回った。
• Pストリームは光学フローストリームの60倍速く動作するが、同等の精度を維持しており、推論効率が顕著に向上した。
• ベースライン手法と比較して、合計推論GFLOPsを20%削減しながら、精度を向上させた。
• ECCのような復号済み動画2ストリームモデル即し、はるかに低い計算コストで、より高い精度を達成した。
• 16フレームのクリップと10クロップを用いたResNet152バックボーンが最良の性能を示し、IP TSNにおける非対称ネットワーク設計の有効性を裏付けた。