[論文レビュー] Recognizing License Plates in Real-Time

Xuewen Yang, Xin Wang|arXiv (Cornell University)|Jun 11, 2019

Vehicle License Plate Recognition参考文献 26被引用数 5

ひとこと要約

本論文は、輪郭再構築による耐障害性の高いプレート位置特定、誤検出のないボーダー除去のためのゼロ・ワン・アラートネーション手法、およびデータ拡張、SIFT特徴量、転移学習を組み合わせたハイブリッドCNNモデルを用いたリアルタイムのナンバープレート検出・認識（LPDR）システムを提示する。このシステムは最先端の精度と速度を達成し、AOLPデータセットで95 FPSを記録しながらも93.5%の認識率を維持している。

ABSTRACT

License plate detection and recognition (LPDR) is of growing importance for enabling intelligent transportation and ensuring the security and safety of the cities. However, LPDR faces a big challenge in a practical environment. The license plates can have extremely diverse sizes, fonts and colors, and the plate images are usually of poor quality caused by skewed capturing angles, uneven lighting, occlusion, and blurring. In applications such as surveillance, it often requires fast processing. To enable real-time and accurate license plate recognition, in this work, we propose a set of techniques: 1) a contour reconstruction method along with edge-detection to quickly detect the candidate plates; 2) a simple zero-one-alternation scheme to effectively remove the fake top and bottom borders around plates to facilitate more accurate segmentation of characters on plates; 3) a set of techniques to augment the training data, incorporate SIFT features into the CNN network, and exploit transfer learning to obtain the initial parameters for more effective training; and 4) a two-phase verification procedure to determine the correct plate at low cost, a statistical filtering in the plate detection stage to quickly remove unwanted candidates, and the accurate CR results after the CR process to perform further plate verification without additional processing. We implement a complete LPDR system based on our algorithms. The experimental results demonstrate that our system can accurately recognize license plate in real-time. Additionally, it works robustly under various levels of illumination and noise, and in the presence of car movement. Compared to peer schemes, our system is not only among the most accurate ones but is also the fastest, and can be easily applied to other scenarios.

研究の動機と目的

• 悪光源、ブレ、多様なプレート外観といった多様な条件下でもリアルタイムかつ高精度なナンバープレート認識を実現すること。
• 多様なプレートタイプのための限られたトレーニングデータによるCNNベースの文字認識における過学習を低減すること。
• ノイズや誤検出ボーダーの除去による候補プレートの精錬によって、検出の耐障害性を向上させること。
• 二段階の検証システムを導入することで、余分な計算を回避し、処理のオーバーヘッドを最小限に抑えること。
• 移動中の車両のような動的環境でも、認識精度を損なわずに高速性能を達成すること。

提案手法

• 不完全または歪んだ輪郭に対しても耐障害性を持つプレート位置特定を実現するため、エッジ検出を用いた輪郭再構築手法を提案する。
• 検出されたプレートの周囲の誤検出ボーダー（上部および下部）を除去するためのゼロ・ワン・アラートネーション方式を導入し、文字分離の精度を向上させる。
• 一般化性能の向上と過学習の低減を図るため、データ拡張、SIFT特徴ベクトル、および転移学習を統合したハイブリッドCNNモデルを設計する。
• カスタムのプレート文字データで微調整する前に、事前学習済みImageNet重みを用いてCNNを初期化することで、転移学習を実装する。
• 二段階の検証を実装：検出段階で統計的手法によるフィルタリングにより誤検出を事前に除去し、LPRの正確な結果を用いて後続の検証で正しく検出されたプレートを確認する。
• 効率的なアルゴリズム設計と余分な処理の削減により、低遅延を実現するため、LPDRパイプライン全体をリアルタイム性能最適化する。

実験結果

リサーチクエスチョン

• RQ1 輪郭再構築とエッジベース検出は、画像品質が低い現実世界の状況でも、高速かつ高精度なナンバープレート位置特定を達成できるか？
• RQ2 ゼロ・ワン・アラートネーション手法は、誤検出ボーダーの除去と文字分離精度の向上にどの程度効果的か？
• RQ3 データ拡張、SIFT特徴量、および転移学習は、ナンバープレートのCNNベースの文字認識における過学習をどの程度低減できるか？
• RQ4 二段階の検証システムは、追加の計算コストを大きく増やさずに検出精度を向上させることができるか？
• RQ5 本手法は、移動中の車両や変動する照明条件を伴うリアルタイム環境下でも、どの程度の性能を示すか？

主な発見

• 提案手法はAOLPデータセットで95 FPSを達成し、比較されたすべての手法の中で最も高速である。
• AOLPサブセットACでは93.5%の認識率を達成し、精度と速度の両面で他のすべての手法を上回っている。
• ハイブリッドCNNモデルは36文字の分類精度で96.4%を達成し、ベースCNN（84.8%）およびSIFT-CNN（91.8%）を大きく上回っている。
• 動きぼけ画像を含むLongIslandデータセットでは、84.3%の検出精度と82.7%の再現率を維持しており、EC-LDAを両方の指標と速度で上回っている。
• 二段階の検証により、誤検出を早期にフィルタリングし、LPR後に追加の検証ステップを実行する必要がなくなるため、処理のオーバーヘッドが削減された。
• 本システムは、照明の変動、ノイズ、動きの影響に対しても耐障害性を示し、他のシステムが著しく性能を落とす状況でも高い精度を維持している。