[論文レビュー] Vehicle Re-identification: exploring feature fusion using multi-stream convolutional networks

Ícaro Oliveira de Oliveira, Rayson Laroca+3 more|arXiv (Cornell University)|Nov 13, 2019

Vehicle License Plate Recognition被引用数 8

ひとこと要約

本論文では、低解像度の車両パッチからの外観特徴と、高解像度パッチからのOCR抽出による車両ナンバープレートのテキストを融合する2ストリームCNNを提案する。形状の類似性を検出するシアンズネットワークと、テキストの信頼性および文字列一致を実行するCNNベースのOCRを組み合わせることで、3,000以上の動画クリップにわたる3,000台以上の車両から構成される新規データセット上で、99.6%の精度、99.2%の再現率、99.4%のFスコアを達成した。

ABSTRACT

This work addresses the problem of vehicle re-identification through a network of non-overlapping cameras. As our main contribution, we propose a novel two-stream convolutional neural network (CNN) that simultaneously uses two of the most distinctive and persistent features available: the vehicle appearance and its license plate. This is an attempt to tackle a major problem, false alarms caused by vehicles with similar design or by very close license plate identifiers. In the first network stream, shape similarities are identified by a Siamese CNN that uses a pair of low-resolution vehicle patches recorded by two different cameras. In the second stream, we use a CNN for optical character recognition (OCR) to extract textual information, confidence scores, and string similarities from a pair of high-resolution license plate patches. Then, features from both streams are merged by a sequence of fully connected layers for decision. As part of this work, we created an important dataset for vehicle re-identification with more than three hours of videos spanning almost 3,000 vehicles. In our experiments, we achieved a precision, recall and F -score values of 99.6%, 99.2% and 99.4%, respectively. As another contribution, we discuss and compare three alternative architectures that explore the same features but using additional streams and temporal information. The proposed architectures, trained models, and dataset are publicly available at this https URL .

研究の動機と目的

• 類似した車両デザインやほぼ同一のナンバープレートによる誤検出を是正すること。
• 深層学習を用いて視覚的外観とテキスト的ナンバープレート情報を統合することで、再識別精度を向上させること。
• 3時間以上の動画とほぼ3,000台の独自車両を含む大規模かつ公開可能なデータセットを構築すること。
• 時間的情報を統合し、追加の特徴ストリームを備えた複数のアーキテクチャを評価・比較すること。

提案手法

• シアンズCNNが、異なるカメラから得た低解像度の車両パッチを処理し、形状の類似性を検出する。
• 別個のCNNが、高解像度のナンバープレートパッチに対して光学的文字認識（OCR）を実行し、テキスト特徴と信頼性スコアを抽出する。
• 両ストリームの特徴を連結し、最終分類のための全結合層に渡す。
• 特徴の判別性を高めるために、トリプレット損失または類似するメトリック学習目的関数を用いて、エンド・ツー・エンドでネットワークを訓練する。
• 時間的モデリングと追加のストリームを統合した、3つの代替アーキテクチャを検討し、より高い耐障害性を実現した。
• 3,000台以上の車両と3時間以上の動画を含む新規データセットを収集・公開し、今後の研究を支援する。

実験結果

リサーチクエスチョン

• RQ1 車両の外観とナンバープレートのテキストの共同学習は、単一のモodalitiy（外観またはテキスト）のみを用いる場合に比べ、再識別精度を向上させるか？
• RQ2 形状を処理するシアンズCNNとテキストを処理するCNN-OCRという2つの異なるストリームの特徴を統合することで、困難な再識別ケースにおける性能にどのような影響を与えるか？
• RQ3 時間的モデリングと追加のストリームは、再識別における耐障害性向上にどの程度寄与するか？
• RQ4 OCRの信頼性スコアと文字列類似度メトリクスは、最終意思決定プロセスにどのように影響を与えるか？
• RQ5 提案されたアーキテクチャは、大規模かつ現実世界の車両再識別ベンチマークにおいて、ベースラインモデルをどの程度上回るか？

主な発見

• 提案された2ストリームCNNは、新規データセット上で99.6%の精度、99.2%の再現率、99.4%のFスコアを達成した。
• 外観特徴とナンバープレート特徴の統合により、視覚的に類似した車両やほぼ同一のナンバープレートによる誤検出が顕著に減少した。
• OCRの信頼性スコアの導入により、ノイズが多いまたは低品質な画像におけるテキスト特徴一致の信頼性が向上した。
• 時間的情報を統合し、追加のストリームを備えた最良のアーキテクチャは、単純な2ストリームベースラインを上回った。
• 3,000台以上の車両と3時間以上の動画を含む新規に構築されたデータセットは、今後の車両再識別研究のための強力なベンチマークを提供する。
• すべてのモデル、コード、およびデータセットは、再現可能性とさらなる開発を支援するため、公開されている。