[論文レビュー] Bicycle Detection Based On Multi-feature and Multi-frame Fusion in low-resolution traffic videos

Yicheng Zhang, Ling Qiang|arXiv (Cornell University)|Jun 11, 2017

Video Surveillance and Tracking Methods参考文献 10被引用数 4

ひとこと要約

本稿では、低解像度の交通映像に対して、マルチフィーチャーとマルチフレーム融合を用いたリアルタイム自転車検出手法を提案する。スパースな幾何学的特徴および速度特徴を抽出し、SVMまたはカスケード分類器を用いて統合し、フレーム間での時間的統合を適用することで、精度を向上させ、誤検出を低減する。1フレームあたり30msの低計算コストで高い検出率を達成する。

ABSTRACT

As a major type of transportation equipments, bicycles, including electrical bicycles, are distributed almost everywhere in China. The accidents caused by bicycles have become a serious threat to the public safety. So bicycle detection is one major task of traffic video surveillance systems in China. In this paper, a method based on multi-feature and multi-frame fusion is presented for bicycle detection in low-resolution traffic videos. It first extracts some geometric features of objects from each frame image, then concatenate multiple features into a feature vector and use linear support vector machine (SVM) to learn a classifier, or put these features into a cascade classifier, to yield a preliminary detection result regarding whether an object is a bicycle. It further fuses these preliminary detection results from multiple frames to provide a more reliable detection decision, together with a confidence level of that decision. Experimental results show that this method based on multi-feature and multi-frame fusion can identify bicycles with high accuracy and low computational complexity. It is, therefore, applicable for real-time traffic video surveillance systems.

研究の動機と目的

• 従来の手法が特徴抽出に失敗する低解像度の交通映像における自転車検出の課題に対処すること。
• 1フレーム分の検出に限界があることを補うために、複数フレームにわたる結果の統合により、信頼性を向上させ、ノイズによる誤分類を低減すること。
• 都市部の交通監視システムへのリアルタイム導入に適した、計算効率の高い手法を開発すること。
• スパースな幾何学的特徴と信頼度ベースの意思決定統合を用いて、誤検出、見逃し率、重複率のバランスを取ることで、検出性能を向上させること。

提案手法

• 各フレーム内の移動対象から、スパースな幾何学的特徴（例：形状、サイズ、縦横比）および速度特徴を抽出し、自転車候補を表現する。
• 複数の幾何学的特徴を1つの特徴ベクトルに連結し、線形SVMまたはカスケード分類器を用いて分類する。
• 連続するフレーム間の予備検出結果を多数決ルールを用いて統合することで、意思決定の信頼性を向上させるマルチフレーム統合を適用する。
• 検出結果の信頼度レベルのしきい値を導入し、誤検出率、見逃し率、重複率のトレードオフを動的に制御する。
• 分類の前段階で、複数の顕著な特徴（例：ホイールに似た形状、コンactさ）をフレームレベルで統合する。
• フレーム間の時間的整合性を活用し、ノイズや照明変化によって生じる一時的な誤検出を抑制する。

実験結果

リサーチクエスチョン

• RQ1 スパースな幾何学的特徴と運動特徴のマルチフィーチャー統合は、低解像度の交通映像における自転車検出精度を向上させ得るか？
• RQ2 マルチフレーム時間的統合は、1フレーム分類と比較して、検出の信頼性をどのように向上させるか？
• RQ3 信頼度レベルのしきい値を用いることで、誤検出、見逃し検出、重複率のトレードオフをどの程度制御できるか？
• RQ4 本手法は、雨、霧、低照度などの厳しい環境条件下でも高い性能を維持できるか？
• RQ5 本手法は、監視システムへの導入に適した、低計算複雑性を伴うリアルタイム性能を達成できるか？

主な発見

• SVMベースのマルチフィーチャーおよびマルチフレーム統合を用いた場合、シーン3（霧の条件）で96.96％の検出率を達成した。
• カスケード分類器統合手法は、シーン1（雨の条件）においてSVM手法よりも低い誤検出率（4.36％）を達成しており、より優れたロバスト性を示した。
• 信頼度しきい値を0から1に変更したところ、重複率は76.83％（しきい値0）から10.41％（しきい値1）に低下し、冗長な検出の有効な抑制が確認された。
• SVMおよびカスケード分類器の両手法とも、1フレームあたり約30msで処理可能であり、25～30fpsの動画ストリームにおけるリアルタイム要件を満たした。
• 本手法は、雨、霧、照明の変化といった多様な条件下でも高い検出性能を維持しており、環境ノイズに対して高い耐性を示した。
• 全体としてカスケード分類器がSVMを上回り、シーン2では91.55％の検出率と6.27％の誤検出率を達成したが、シーン3ではSVMにわずかに劣る検出率であった。