[論文レビュー] MoViNets: Mobile Video Networks for Efficient Video Recognition

Dan Kondratyuk, Liangzhe Yuan+5 more|arXiv (Cornell University)|Mar 21, 2021

Human Pose and Action Recognition参考文献 85被引用数 17

ひとこと要約

MoViNetsは、顕著に少ないFLOPsとメモリ使用量で最先端の正確性を達成する、動画認識向けの効率的な3次元畳み込みニューラルネットワークのファミリーを導入する。ニューラルアーキテクチャ探索、定常メモリのオンライン推論を可能にするストリームバッファ、および時間的アンサンブルを組み合わせることで、MoViNet-A5-StreamはKinetics 600でX3D-XLと同等の正確性を達成しながら、FLOPsを80%、メモリ使用量を65%削減した。

ABSTRACT

We present Mobile Video Networks (MoViNets), a family of computation and memory efficient video networks that can operate on streaming video for online inference. 3D convolutional neural networks (CNNs) are accurate at video recognition but require large computation and memory budgets and do not support online inference, making them difficult to work on mobile devices. We propose a three-step approach to improve computational efficiency while substantially reducing the peak memory usage of 3D CNNs. First, we design a video network search space and employ neural architecture search to generate efficient and diverse 3D CNN architectures. Second, we introduce the Stream Buffer technique that decouples memory from video clip duration, allowing 3D CNNs to embed arbitrary-length streaming video sequences for both training and inference with a small constant memory footprint. Third, we propose a simple ensembling technique to improve accuracy further without sacrificing efficiency. These three progressive techniques allow MoViNets to achieve state-of-the-art accuracy and efficiency on the Kinetics, Moments in Time, and Charades video action recognition datasets. For instance, MoViNet-A5-Stream achieves the same accuracy as X3D-XL on Kinetics 600 while requiring 80% fewer FLOPs and 65% less memory. Code will be made available at https://github.com/tensorflow/models/tree/master/official/vision.

研究の動機と目的

• 高い計算およびメモリ要件のため、モバイルデバイスに正確な3次元畳み込みニューラルネットワーク（3D CNN）をデプロイする課題に対処すること。
• 固定で長時間の入力が必要なため、3D CNNがオンライン推論をサポートできないという制限を克服すること。
• モバイル動画認識において、効率的だが正確性に欠ける2次元畳み込みニューラルネットワーク（2D CNN）と、正確性は高いがリソースを大量に消費する3D CNNのギャップを埋めること。
• 長時間の時間的依存関係を保持しつつ、最小限のメモリフットプリントでストリーミング動画処理を可能にすること。
• 単純なアンサンブル技術を用いて、計算またはメモリ効率を犠牲にすることなく、効率的モデルの正確性を向上させること。

提案手法

• 空間的、時間的、および空間時間的演算の最適なトレードオフを実現するための、専用のMoViNet探索空間を設計し、ニューラルアーキテクチャ探索（NAS）を可能にする。
• サブクリップ境界での特徴量のキャッシュにより、メモリ使用量を動画クリップの長さから分離することで、推論および学習中に定常的なメモリ使用量を実現するストリームバッファ技術を導入する。
• 因果的マスクを施した時間的演算（例：因果的畳み込み、累積プーリング）をストリームバッファ内に実装し、予測に影響するのは過去のフレームのみであることを保証することで、真のオンライン推論を実現する。
• 因果的設定下でも時間的文脈を意識できるように、時間的演算に位置符号化を適用する。
• 独立して訓練されたストリーミングMoViNetsの時間的アンサンブルを適用することで、因果的制約によって失われた正確性を回復し、FLOPsやメモリ使用量を増加させずに実現する。
• Kinetics 400、Kinetics 600、Moments in Time、Charades、Something-Something V2を含む複数のベンチマークでMoViNetsを訓練および評価し、汎用性と効率性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルアーキテクチャ探索は、動画認識のための正確性と計算コストのバランスを最適化する効率的な3次元畳み込みニューラルネットワークアーキテクチャを効果的に発見できるか？
• RQ2 ストリームバッファ機構は、任意に長い動画ストリームを定常的なメモリ使用量で処理しつつ、長時間の時間的依存関係を保持できるか？
• RQ3 ストリームバッファ内の因果的演算の導入により顕著な正確性の低下が生じるか、そしてリソース使用量の増加なしにこれを是正できるか？
• RQ4 ストリーミングMoViNetsの時間的アンサンブルは、因果的モデリングによって失われた正確性を回復できるか、かつ同じ効率的プロファイルを維持できるか？
• RQ5 多様な動画認識ベンチマークにおいて、MoViNetsは既存の2次元および3次元動画モデルに比べて、正確性、FLOPs、メモリ使用量の観点でどの程度優れているか？

主な発見

• MoViNet-A6はKinetics 600でトップ-1正確性83.5%を達成し、X3D-XLより1.6%高いが、FLOPsは60%少ない。
• MoViNet-A5-StreamはKinetics 600でX3D-XLと同等の正確性を達成しているが、FLOPsは80%少なく、メモリ使用量は65%少ない。
• ストリームバッファにより、MoViNet-A5のメモリ使用量は従来の3D CNNに比べて90%削減され、定常的なメモリフットプリントでオンライン推論が可能になった。
• 因果的モデリングによる1%の正確性低下は、時間的アンサンブルにより成功裏に回復され、同じFLOPsおよびメモリ予算下で単一モデルより高い正確性を達成した。
• MoViNet-A2は、同じFLOPレベルでMobileNetV3-large+TSMに比べて6%高い正確性を示し、強力な効率-正確性トレードオフを示した。
• 提案手法により、MoViNetsはモバイルデバイスでのストリーミング動画推論を可能にし、モバイル、IoT、自律走行システムにおけるリアルタイムアプリケーションに適したものとなった。