[論文レビュー] Looking Fast and Slow: Memory-Guided Mobile Video Object Detection

Mason Liu, Menglong Zhu+3 more|arXiv (Cornell University)|Mar 25, 2019

Advanced Neural Network Applications参考文献 40被引用数 30

ひとこと要約

この論文は、高速で軽量な特徴抽出器と遅く正確な特徴抽出器を組み合わせ、ConvLSTMメモリモジュールを用いてフレーム間で特徴を統合する、メモリガイドドでインタリーブドな動画オブジェクト検出フレームワークを提案する。Q学習を用いて適応的インフェレンスポリシーを学習することで、オプティカルフローに依存せず、流体的でない方法を採用したにもかかわらず、Imagenet VID 2015で最先端の精度を達成するとともに、Pixel 3で72.3 FPSで動作し、従来のフロー依存型および固定比率手法よりも、スピード/精度のトレードオフにおいて顕著に優れている。

ABSTRACT

With a single eye fixation lasting a fraction of a second, the human visual system is capable of forming a rich representation of a complex environment, reaching a holistic understanding which facilitates object recognition and detection. This phenomenon is known as recognizing the "gist" of the scene and is accomplished by relying on relevant prior knowledge. This paper addresses the analogous question of whether using memory in computer vision systems can not only improve the accuracy of object detection in video streams, but also reduce the computation time. By interleaving conventional feature extractors with extremely lightweight ones which only need to recognize the gist of the scene, we show that minimal computation is required to produce accurate detections when temporal memory is present. In addition, we show that the memory contains enough information for deploying reinforcement learning algorithms to learn an adaptive inference policy. Our model achieves state-of-the-art performance among mobile methods on the Imagenet VID 2015 dataset, while running at speeds of up to 70+ FPS on a Pixel 3 phone.

研究の動機と目的

• モバイルデバイスの厳しい計算制約およびエネルギー制約のもとで、リアルタイムかつ高精度な動画オブジェクト検出を実現すること。
• 時間的メモリが、軽量な特徴抽出器が最小限の精度損失で頻繁に動作できるようにすることで、動画検出における冗長な計算を削減できるかを検証すること。
• 人間の視覚における「グリス認識」が迅速なシーン理解を支えるという生物学的直観を、ディープラーニングフレームワークに統合すること。
• 強化学習を用いて、高速および高速特徴抽出器の間での切り替えに適応的インフェレンスポリシーを学習し、スピード/精度のトレードオフを改善すること。
• 計算コストが高く、動きに敏感なオプティカルフローに依存しないように、フローを排除したメモリベースのフローなしアプローチに置き換えること。

提案手法

• フレームワークは2つの特徴抽出器を使用する：グリス認識に適した高速で軽量なネットワーク（f1）と、詳細な検出に適した遅く正確なネットワーク（f0）。
• 両方の抽出器からの特徴は、ConvLSTMレイヤーとして実装された共有ビジョナルメモリモジュールを介して統合され、フレーム間で文脈的情報を保持する。
• システムは、f1が頻繁に実行され、f0が周期的に実行されるインタリーブドインフェレンス戦略を採用しており、タイミングは学習済みポリシーで制御される。
• 適応的インタリーブポリシーは、深層Q学習を用いて学習され、エージェントは現在のフレームの内容とメモリ状態に基づいてf0の実行時刻を決定する。
• ポリシーネットワークは、検出精度（mAP）とインフェレンス速度の両方をバランスさせる報酬関数を用いて訓練され、計算の効率性を促進する。
• モデルはモバイルデプロイメントを最適化しており、精度を損なわず、Pixel 3端末で72.3 FPSの高いインフェレンス速度を達成している。

実験結果

リサーチクエスチョン

• RQ1 インタリーブドされた高速および高速特徴抽出器を用いたメモリガイドドフレームワークは、動画ストリームにおける計算量を顕著に削減しつつも、高い検出精度を維持できるか？
• RQ2 共有ビジョナルメモリが存在することで、軽量な特徴抽出器が単独で頻繁に実行されても、信頼性高く動作できるか？
• RQ3 強化学習を用いて、シーンの複雑さに応じて、高速および高速特徴抽出器の間で動的に切り替える適応的インフェレンスポリシーを効果的に学習できるか？
• RQ4 極端なインタリーブレート（τ = 39）において、フローに基づく手法と比較して、メモリガイドド手法のスピード/精度のトレードオフはどの程度か？
• RQ5 メモリガイドドでフローなしのアプローチは、オプティカルフローに依存せず、高価な中間特徴ワープを伴わず、モバイルデバイスでリアルタイム性能を達成できるか？

主な発見

• 提案手法は、モバイル手法の中でImagenet VID 2015ベンチマークで65.0の最先端のmAPを達成し、Zhuら[39]の先行研究を上回っている。
• 最適化後、Pixel 3端末で72.3 FPSで動作し、発表当時、知られていた中で最も高速なモバイル動画検出モデルである。
• 適応的強化学習ポリシーにより、固定ポリシーと比較して、大規模モデル（f0）の実行回数を最大80％まで削減でき、精度を維持または向上させた。
• 極端なインタリーブレート（τ = 39）において、本手法はmAPが3.75ポイント低下するのみであるのに対し、Zhuら[39]のフローに基づく手法はτ = 20で最低4.5 mAPの低下を示した。
• 学習済みポリシーは、小規模モデル（f1）だけでは不十分な複雑なシーンに対して、より多くの計算を割り当てており、効果的なシーン認識インフェレンスを示している。