[論文レビュー] Optimizing Video Object Detection via a Scale-Time Lattice

Kai Chen, Jiaqi Wang+5 more|arXiv (Cornell University)|Apr 16, 2018

Advanced Neural Network Applications参考文献 25被引用数 11

ひとこと要約

本論文では、スケールと時間の両方で適応的に選択されたキーフレームにのみ高コストな検出器を疎に適用し、軽量ネットワークを用いて時間的・スケール的になめらかに結果を伝搬・精錬する統合的フレームワーク「スケール・タイム・ラティス（ST-Lattice）」を提案する。この手法は、アンサンブルやマルチスケールテストを用いずに、ImageNet VIDで20 fpsで79.6%のmAPを達成し、速度-精度トレードオフにおいて先行研究を上回った。

ABSTRACT

High-performance object detection relies on expensive convolutional networks to compute features, often leading to significant challenges in applications, e.g. those that require detecting objects from video streams in real time. The key to this problem is to trade accuracy for efficiency in an effective way, i.e. reducing the computing cost while maintaining competitive performance. To seek a good balance, previous efforts usually focus on optimizing the model architectures. This paper explores an alternative approach, that is, to reallocate the computation over a scale-time space. The basic idea is to perform expensive detection sparsely and propagate the results across both scales and time with substantially cheaper networks, by exploiting the strong correlations among them. Specifically, we present a unified framework that integrates detection, temporal propagation, and across-scale refinement on a Scale-Time Lattice. On this framework, one can explore various strategies to balance performance and cost. Taking advantage of this flexibility, we further develop an adaptive scheme with the detector invoked on demand and thus obtain improved tradeoff. On ImageNet VID dataset, the proposed method can achieve a competitive mAP 79.6% at 20 fps, or 79.0% at 62 fps as a performance/speed tradeoff.

研究の動機と目的

• 高コストな深層ネットワークを用いたリアルタイム動画オブジェクト検出における計算コストの高い問題に対処すること。
• モデルアーキテクチャの圧縮に特化するのではなく、時間的・スケール的空間で統合的な最適化戦略を検討すること。
• 動画検出における精度と推論速度の間で柔軟かつ適応的なトレードオフを可能にすること。
• 検出器の使用頻度を最小限に抑えつつ、効果的な伝搬と精錬により、計算コストを平均化するのを減らすこと。

提案手法

• スケールと時間の2次元グリッド上のノード間を結ぶ有向リンクとして、検出、時間的伝搬、スケール間精錬を構造化する。
• 物体の動きとスケールに基づいて適応的にキーフレームを選択し、高コストな検出器を起動することで、全体の計算量を削減する。
• 動きのずれと空間的オフセットを別々に回帰する2段階の回帰ユニットを導入し、学習の安定性と性能を向上させる。
• 時間的伝搬は、光流と特徴ワープを用いて、動き履歴に基づくネットワークによって効率的に実現される。
• 粗いスケールから細かいスケールへと段階的に、軽量ネットワークを用いて境界ボックスを精錬することで、空間的精錬を実現する。
• 異なる段階でのネットワークの深さを変更することで、柔軟な計算コストの割り当てが可能となり、性能と速度のトレードオフを実現できる。

実験結果

リサーチクエスチョン

• RQ1 動画オブジェクト検出における計算コストを、時間的・スケール的空間でどのように効果的に再配分できるか？
• RQ2 検出、時間的伝搬、スケール精錬を統合的に統合する最適なフレームワークの構築方法は何か？
• RQ3 適応的なキーフレーム選択は、検出器の使用頻度を減らしながらも性能を向上させられるか？
• RQ4 伝搬と精錬のコンポONENTを同時に学習させることで、最終的な検出精度にどのような影響を与えるか？
• RQ5 時間的伝搬部と空間的精錬部の両方で計算コストを増加させた場合、それぞれの影響の相対的寄与度はどの程度か？

主な発見

• 提案手法は、ImageNet VIDで20 fpsで79.6%のmAPを達成し、先行の最先端手法よりも顕著に高速である。
• 62 fpsでも79.0%のmAPを維持しており、優れた速度-精度トレードオフを示している。
• 均一なサンプリングと比較して、適応的なキーフレーム選択は、特に大きな間隔のとき、より困難なサンプルを優先的に検出することで性能を向上させた。
• 伝搬部と精錬部を同時に学習させた場合、別々に学習させるよりも0.2%のmAP向上を達成し、エンドツーエンド最適化の有効性を示した。
• 空間的精錬ネットワークの深さを増加させると1.2%のmAP向上（72.5→73.7）が得られ、時間的伝搬ネットワークに同程度のコストを割り当てた場合（0.8%向上）を上回った。
• 2段階の回帰ユニット（動きとオフセットを別々に回帰）は、ターゲットフレームで71.6%のmAPを達成し、ワンステップまたは同時回帰の変種を上回った。