[論文レビュー] 3D-DETNet: a Single Stage Video-Based Vehicle Detector

Suichan Li|arXiv (Cornell University)|Jan 5, 2018

Advanced Neural Network Applications参考文献 18被引用数 4

ひとこと要約

3D-DETNet は、3D畳み込みネットワーク（3DConvNet）とファーカス損失を活用して動画シーケンスからの空間時間的特徴を効果的に捉える、1段階型の動画ベース車両検出器である。これにより、検出精度と速度が顕著に向上し、26 fps の推論速度を達成し、画像ベースの検出器を動画用に適応させたものよりも UA-DETAC データセットで最先端の性能を示した。

ABSTRACT

Video-based vehicle detection has received considerable attention over the last ten years and there are many deep learning based detection methods which can be applied to it. However, these methods are devised for still images and applying them for video vehicle detection directly always obtains poor performance. In this work, we propose a new single-stage video-based vehicle detector integrated with 3DCovNet and focal loss, called 3D-DETNet. Draw support from 3D Convolution network and focal loss, our method has ability to capture motion information and is more suitable to detect vehicle in video than other single-stage methods devised for static images. The multiple video frames are initially fed to 3D-DETNet to generate multiple spatial feature maps, then sub-model 3DConvNet takes spatial feature maps as input to capture temporal information which is fed to final fully convolution model for predicting locations of vehicles in video frames. We evaluate our method on UA-DETAC vehicle detection dataset and our 3D-DETNet yields best performance and keeps a higher detection speed of 26 fps compared with other competing methods.

研究の動機と目的

• 画像ベースの物体検出器を直接動画ベースの車両検出に適用した場合の性能の低さを是正すること。
• 動画シーケンスからの空間的および時間的特徴を効果的に捉える動画固有の検出フレームワークを開発すること。
• リアルタイム応用を想定し、検出精度を向上させつつ高い推論速度を維持すること。
• ファーカス損失を1段階型検出器に統合し、車両検出におけるクラス分布の長尾問題に対処すること。
• UA-DETACベンチマークデータセットで最先端の性能を示すこと。

提案手法

• モデルは複数の動画フレームを入力として受け取り、バックボーンネットワークを用いて空間的特徴マップを生成する。
• 3DConvNetサブモデルを空間的特徴マップに適用し、フレーム間の時間的依存関係を抽出する。
• 統合された空間時間的特徴は、完全畳み込みヘッドに渡され、車両のバウンディングボックスを予測する。
• トレーニング中にファーカス損失を組み込むことで、動画シーケンス内の前景と背景のサンプルの不均衡を軽減する。
• 時間的整合性と検出精度を最適化するために、マルチフレーム入力を用いてエンドツーエンドでネットワークをトレーニングする。
• 1段階推論を想定したアーキテクチャ設計により、リアルタイム性能を実現する。

実験結果

リサーチクエスチョン

• RQ1 1段階型検出器は、3D畳み込みを効果的に活用して動きをモデル化し、動画ベースの車両検出を向上させることができるか？
• RQ2 ファーカス損失は、長尾分布を示す動画オブジェクト検出のシナリオでどのように検出性能を向上させるか？
• RQ3 3DConvNetを1段階型検出器に統合することで、画像ベースの検出器を動画用に適応させたものよりも、より高い精度と速度が得られるか？
• RQ4 時間的モデリングは、動画シーケンスにおける誤検出の低減と局所化精度の向上にどのような影響を与えるか？
• RQ5 提案手法は、高い推論速度を維持しながら最先端の性能を達成できるか？

主な発見

• 3D-DETNet は、比較手法と比較して UA-DETAC データセットで最高の検出性能を達成した。
• モデルは 26 fps の高い推論速度を維持しており、リアルタイム動画処理を可能にした。
• 3DConvNet の統合により、時間的動きの効果的なモデリングが可能になり、検出のロバスト性が向上した。
• ファーカス損失は、難易度の高い負例に注目することで、トレーニングの安定性と検出精度を顕著に向上させた。
• 画像ベースの検出器を動画用に適応させたものよりも優れた性能を示し、動画固有の設計の利点を実証した。
• アブレーションスタディにより、3D畳み込みとファーカス損失の両方が全体の性能向上に寄与していることが確認された。