[論文レビュー] Improved detection of small objects in road network sequences

Iván García, Rafael Marcos Luque‐Baena+1 more|arXiv (Cornell University)|May 18, 2021

Advanced Image Processing Techniques被引用数 2

ひとこと要約

本稿では、事前学習済み畳み込みニューラルネットワーク（CNN）によって特定された領域の注目領域（ROI）にスーパーレゾリューションを適用することで、道路網監視動画における小規模物体検出を向上させる二段階のオブジェクト検出フレームワークを提案する。検出された小規模物体を拡大し、再び検出器に通すことで、特に小規模な車両の検出において、ベースモデルの再訓練なしに、mAPが最大2.3倍向上する。

ABSTRACT

The vast number of existing IP cameras in current road networks is an opportunity to take advantage of the captured data and analyze the video and detect any significant events. For this purpose, it is necessary to detect moving vehicles, a task that was carried out using classical artificial vision techniques until a few years ago. Nowadays, significant improvements have been obtained by deep learning networks. Still, object detection is considered one of the leading open issues within computer vision. The current scenario is constantly evolving, and new models and techniques are appearing trying to improve this field. In particular, new problems and drawbacks appear regarding detecting small objects, which correspond mainly to the vehicles that appear in the road scenes. All this means that new solutions that try to improve the low detection rate of small elements are essential. Among the different emerging research lines, this work focuses on the detection of small objects. In particular, our proposal aims to vehicle detection from images captured by video surveillance cameras. In this work, we propose a new procedure for detecting small-scale objects by applying super-resolution processes based on detections performed by convolutional neural networks \emph{(CNN)}. The neural network is integrated with processes that are in charge of increasing the resolution of the images to improve the object detection performance. This solution has been tested for a set of traffic images containing elements of different scales to test the efficiency according to the detections obtained by the model, thus demonstrating that our proposal achieves good results in a wide range of situations.

研究の動機と目的

• 道路網の動画シーケンスにおける小規模物体の低検出精度という継続的な課題に対処する。
• 事前学習済みモデルの再訓練なしに、低解像度で混雑した交通シーンにおける小規模車両のオブジェクト検出性能を向上させる。
• ダウンサンプリングに起因する特徴量の損失を克服するため、候補領域の空間的解像度を向上させる。
• 反復的なスーパーレゾリューションと再検出を通じて、小規模物体の検出信頼性と再現率を向上させる。
• 最小限の計算オーバーヘッドで、既存の交通監視システムへの実用的導入を可能にする。

提案手法

• 事前学習済みオブジェクト検出モデル（例：EfficientDet、CenterNet）を用いて、入力動画フレーム内のすべてのオブジェクトを検出する。
• 特に小規模なオブジェクトを中心に、検出されたオブジェクトのクロップ領域を抽出し、解像度向上の対象とする。
• 深層スーパーレゾリューションネットワーク（例：EDSRまたは類似手法）を用いて、各検出領域を高解像度にアップスケーリングする。
• 同じ事前学習済み検出器を用いて、スーパーレゾリューション処理済み領域内で再検出を行い、予測を精緻化する。
• 元の検出結果と強化済み検出結果を統合することで、全体の検出信頼性と再現率を向上させる。
• COCO評価指標（IoU閾値におけるmAP）を用いて、強化前後での性能を定量的に比較する。

実験結果

リサーチクエスチョン

• RQ1 検出されたオブジェクト領域のスーパーレゾリューション処理が、交通監視動画における小規模車両の検出精度を向上させることができるか？
• RQ2 二段階検出アプローチ（初期検出 → スーパーレゾリューション処理 → 再検出）は、単一段階の推論に比べてより高いmAPを達成できるか？
• RQ3 解像度の損失によりベース検出器が見逃した小規模オブジェクトは、この手法でどの程度回復できるか？
• RQ4 実世界の交通シーケンスにおいて、異なるオブジェクトスケール（小、中、大）ごとに性能向上はどのように変化するか？
• RQ5 この手法は、再訓練なしに既存の事前学習済みモデルに適用可能であり、運用中の交通監視システムへの導入を可能にするか？

主な発見

• 提案手法により、IoU=0.50:0.95における小規模物体のmAPは、ベースモデルに比べ最大2.3倍向上した。特にVideo 1では、0.168から0.298に向上した。
• Video 2では、小規模物体のmAPがEfficientDet D5の0.158から0.207に上昇し、相対的に31%の向上を達成した。
• Video 3では、小規模物体のmAPがEfficientDet D5の0.056から0.082に上昇し、相対的に46%の向上を示した。これは、多様なシーンにおいて一貫した向上を示している。
• 視覚的比較および検出数グラフ（図13〜15）による確認により、最初の段階で検出されなかった追加の小規模車両が検出された。
• すべてのIoUおよび領域サイズの閾値において、mAPが上昇しており、特に小規模物体検出において顕著な向上が確認された。これは、低解像度交通監視に有効であることを裏付けている。
• ベース検出器の再訓練なしに高い性能を維持でき、既存の交通監視パイプラインへの効率的統合を可能にした。