[論文レビュー] Mobile Phone Based Vehicle License Plate Recognition for Road Policing

V. L. Lajish, Sunil Kumar Kopparapu|arXiv (Cornell University)|Apr 7, 2015

Vehicle License Plate Recognition参考文献 9被引用数 8

ひとこと要約

本論文は、インドの道路状況に特化した、モバイル端末ベースのクライアント・サーバー型アーキテクチャを用いたリアルタイム車両のナンバープレート認識を提案する。端末での画像撮影と、サーバー側での適応的前処理、連結成分解析、テンプレートマッチングを組み合わせることで、低解像度のモバイル画像においても頑健な認識を実現し、24時間体制で交通警察の業務に即座に車両情報の取得を可能にする。

ABSTRACT

Identity of a vehicle is done through the vehicle license plate by traffic police in general. Au- tomatic vehicle license plate recognition has several applications in intelligent traffic management systems. The security situation across the globe and particularly in India demands a need to equip the traffic police with a system that enables them to get instant details of a vehicle. The system should be easy to use, should be mobile, and work 24 x 7. In this paper, we describe a mobile phone based, client-server architected, license plate recognition system. While we use the state of the art image processing and pattern recognition algorithms tuned for Indian conditions to automatically recognize non-uniform license plates, the main contribution is in creating an end to end usable solution. The client application runs on a mobile device and a server application, with access to vehicle information database, is hosted centrally. The solution enables capture of license plate image captured by the phone camera and passes to the server; on the server the license plate number is recognized; the data associated with the number plate is then sent back to the mobile device, instantaneously. We describe the end to end system architecture in detail. A working prototype of the proposed system has been implemented in the lab environment.

研究の動機と目的

• 交通警察が道路で即座に車両情報を取得できる、モバイルで利用可能で24時間稼働可能なナンバープレート認識システムの開発。
• 悪質な照明、傾いたプレート、複数行フォーマット、低解像度のモバイル画像といったインドの道路状況に起因する課題の解決。
• モバイル撮影、サーバー側での認識、データベース統合を統合したエンドツーエンドで利用可能なソリューションの構築による、リアルタイムでの車両情報取得の実現。
• 法執行部門が盗難車両を特定し、交通ルールを適用し、現場で車両の許可状況を確認できるようにすること。

提案手法

• システムは、スマートフォンのカメラを用いてナンバープレート画像を撮影し、HTTP経由で中央サーバーに送信するクライアントアプリケーションを使用する。
• サーバー側では、グレースケール変換とソーベルエッジ検出が実行され、プレートの局所化に適した垂直エッジマップが抽出される。
• プレート領域は、エッジマップの各行における分散を計算し、高い分散を持つ行を選別することで特定され、その後、オツーのしきい値処理が適用されて二値化される。
• 連結成分解析を用いて文字のセグメンテーションが行われ、アスペクト比、空間的位置、サイズ制約に基づく後処理により、非文字成分が除外される。
• セグメンテーションされた文字はアフィン変換と双線形補間を用いて正規化され、認識エンジンへの一貫した入力が確保される。
• 文字認識は、英大文字およびアラビア数字の参照データベースとの相関係数比較を用いたテンプレートマッチングにより実施される。

実験結果

リサーチクエスチョン

• RQ1 低解像度の画像や悪質な照明条件下でも、モバイル端末ベースのシステムが、インドの多様な道路状況において信頼性の高いナンバープレート認識を達成できるか。
• RQ2 縦方向エッジマップの分散に基づく局所化手法が、歪み、複数行、非均一なプレートに対しても効果を発揮するか。
• RQ3 形態的演算と連結成分フィルタリングの組み合わせが、実世界のモバイル画像における文字セグメンテーションの正確性をどの程度向上させるか。
• RQ4 インドのナンバープレートで一般的な異なる向きやフォーマットスタイルに対しても、テンプレートマッチング手法がどの程度の性能を示すか。

主な発見

• 本システムは、照明の変化、歪み、複数行フォーマットを含む多様な条件下で、実際の道路で撮影された871枚の画像において、ナンバープレート領域を正常に局所化した。
• 垂直エッジマップの行方向分散に基づくプレート局所化アルゴリズムは、照明の変化、影、背景の複雑さに対して頑健であることが示された。
• アスペクト比、面積、空間的一致性に基づくルールベースのフィルタリングを施した連結成分解析により、有効な文字が効果的に抽出され、ロゴやノイズは効果的に除外された。
• 正規化された文字に対して相関係数比較を用いたテンプレートマッチングは、フォントや向きの違いがあっても高い認識精度を達成した。
• 全体として、システムは高速かつリアルタイムの性能を示し、正常な認識が完了すると、中央データベースを介して即座に車両情報が取得可能となった。
• プロトタイプはラボ環境で検証され、インドの都市部における実際の交通警察運用への展開に強く期待できる可能性を示した。