[論文レビュー] AdaScale: Towards Real-time Video Object Detection Using Adaptive Scaling

Ting-Wu Chin, Ruizhou Ding+1 more|arXiv (Cornell University)|Feb 8, 2019

Advanced Image and Video Retrieval Techniques参考文献 23被引用数 39

ひとこと要約

AdaScaleは、動画フレームごとに入力画像のスケールを適応的に選択して、動画オブジェクト検出の速度と精度の両方を向上させ、ImageNet VIDおよび mini YouTube-BBデータセットで顕著なmAP向上と高速化を達成します。

ABSTRACT

In vision-enabled autonomous systems such as robots and autonomous cars, video object detection plays a crucial role, and both its speed and accuracy are important factors to provide reliable operation. The key insight we show in this paper is that speed and accuracy are not necessarily a trade-off when it comes to image scaling. Our results show that re-scaling the image to a lower resolution will sometimes produce better accuracy. Based on this observation, we propose a novel approach, dubbed AdaScale, which adaptively selects the input image scale that improves both accuracy and speed for video object detection. To this end, our results on ImageNet VID and mini YouTube-BoundingBoxes datasets demonstrate 1.3 points and 2.7 points mAP improvement with 1.6x and 1.8x speedup, respectively. Additionally, we improve state-of-the-art video acceleration work by an extra 1.25x speedup with slightly better mAP on ImageNet VID dataset.

研究の動機と目的

• 自動運転システムのための、より速く、より正確な動画オブジェクト検出を動機づける。
• ダウンサンプリングが速度だけでなく検出精度を向上させるかを調査する。
• フレームごとに最適な入力スケールを予測する適応スケール機構を開発する。
• ImageNet VIDとYouTube-BBデータセットでの改善を実証し、既存の動画加速手法との適合性を示す。

提案手法

• 入力スケール S の有限集合を定義し、画像ごとの検出損失に基づく指標を用いて各画像の最適なスケール m_opt を選択する。
• 深層CNN特徴を入力とし、次のフレームの入力スケールをどのように調整するかを示す相対スケール t を [-1, 1] の範囲で出力するスケール回帰器を訓練する。
• 損失 L_scalereg（平均二乗誤差）を用いて、回帰器を画像ごとの損失指標から導かれた真の最適スケールと学習させる。
• 連続する動画フレームで類似の最適スケールを仮定して時間的一貫性を活用する。
• テスト時に回帰されたスケールをS内の実際の画像スケールへ戻す単純なデコード手順を用いてAdaScaleを適用する。
• 必要に応じて、AdaScaleを既存の動画加速手法と組み合わせてさらに速度を向上させる。
• 訓練は、スケール間でR-FCNベースの検出器のマルチスケール微調整を用い、回帰器の重みを検出器を固定したまま学習する。

実験結果

リサーチクエスチョン

• RQ1 適応的な画像スケーリングは、従来の固定スケールテストを超えて、動画オブジェクト検出器の速度と精度の両方を改善できるか？
• RQ2 推論時のダウンサンプリングは、動画オブジェクト検出器の偽陽性を減らし、真陽性を増やすのに役立つか？
• RQ3 学習済み回帰器は、現在のフレーム内容に基づいて次の動画フレームの最適スケールをどれだけ効果的に予測できるか？
• RQ4 AdaScaleは、他の動画加速技術と相補的で、より良い速度-精度のパレート前線を達成できるか？

主な発見

• AdaScaleは ImageNet VID で 1.3 ポイントの mAP 向上を、1.6x の高速化とともに達成（MS/AdaScale vs SS/SS）。
• AdaScaleは mini YouTube-BB で 2.7 ポイントの mAP 向上を、1.8x の高速化とともに達成（MS/AdaScale vs SS/SS）。
• AdaScaleを最先端の動画加速と組み合わせると、ImageNet VID でさらに約25%の速度増加とわずかなmAP向上をもたらす。
• スケール回帰器は約2 msのオーバーヘッドを追加します（R-FCN実行時間の約3%）。
• 適応スケーリングは偽陽性を減らし、固定スケールのベースラインと比較して再現率の変化は控えめながら精度を向上させる可能性がある。