[論文レビュー] License Plate Detection and Recognition Using Deeply Learned Convolutional Neural Networks

Syed Zain Masood, Guang Shu+2 more|arXiv (Cornell University)|Mar 21, 2017

Vehicle License Plate Recognition被引用数 87

ひとこと要約

論文は、連続的な深層CNNから構成されたエンドツーエンドの車牌検出および認識システムを提示し、USと欧州のベンチマークでOpenALPRより高い精度を達成する。地域、姿勢、照明の変化に頑健な統一モデルを強調する。

ABSTRACT

This work details Sighthounds fully automated license plate detection and recognition system. The core technology of the system is built using a sequence of deep Convolutional Neural Networks (CNNs) interlaced with accurate and efficient algorithms. The CNNs are trained and fine-tuned so that they are robust under different conditions (e.g. variations in pose, lighting, occlusion, etc.) and can work across a variety of license plate templates (e.g. sizes, backgrounds, fonts, etc). For quantitative analysis, we show that our system outperforms the leading license plate detection and recognition technology i.e. ALPR on several benchmarks. Our system is available to developers through the Sighthound Cloud API at https://www.sighthound.com/products/cloud

研究の動機と目的

• 深層CNNを用いた車牌検出と認識のエンドツーエンドパイプラインを開発する。
• 車牌検出と文字認識の両方の大規模データを収集し、注釈を付ける。
• 車牌検出、文字検出、文字認識器のための専門的なCNNを訓練する。
• USと欧州のベンチマークでシステムを評価し、OpenALPRと比較する。
• 車牌のテンプレートや撮影条件の変動に対する頑健性を示す。

提案手法

• 車牌検出と文字認識のデータを収集・準備する。
• 車牌検出器、文字検出器、文字認識器の3つのCNNを訓練する。
• 文字を分離するための多段階セグメンテーションプロセスを使用し、続いて非文字を除去する二値フィルタリングを行う。
• 0-9およびOを除くA-Zの35クラス分類器で文字を認識する。
• ベンチマークデータセットでグラウンドトゥルースに対する最良系列一致で評価する。

実験結果

リサーチクエスチョン

• RQ1 異なる地域を跨いで、車牌のタイプの事前情報なしに、統一された深層CNNベースのパイプラインで車牌を検出・認識できるか？
• RQ2 USAおよびヨーロッパのデータセットにおける検出再現率と認識精度で、エンドツーエンドシステムはOpenALPRとどのように比較されるか？
• RQ3 照明・姿勢・遮蔽・地域ごとの車牌デザインの変動に対して、パイプラインは頑健か？

主な発見

• 車牌検出リコール: USA 99.09%、Europe 99.64%（Sighthound）対 OpenALPR バリアント。
• 車牌認識精度: USA 93.44% (Sighthound) 対 OpenALPR Open Source 78.36% および Cloud 84.64%；Europe 94.55% (Sighthound) 対 OpenALPR Open Source 84.80% および Cloud 86.75%。
• 本システムはUSAおよびEuropeのベンチマークで高い精度を達成し、検出と認識の両タスクでOpenALPRを上回る。
• 本手法は統一モデルを使用し、車牌タイプの指定（USA vs Europe）を必要としない。
• 定性的な結果は、照明・サイズ・ブレ・角度・テンプレート変動に対する頑健さを示す。