[論文レビュー] Deep Learning Based Segmentation Free License Plate Recognition Using Roadway Surveillance Camera Images

Alperen Elihoş, Burak Balcı+2 more|arXiv (Cornell University)|Dec 5, 2019

Vehicle License Plate Recognition被引用数 6

ひとこと要約

本稿では、深層学習に基づくオブジェクト検出を用いて、道路監視カメラ向けのセグメンテーションフリーなライセンスプレート認識（LPR）システムを提案する。従来の局所化およびセグメンテーション手順を回避し、2段階の検出フレームワークを用いて直接文字を検出し、認識することで、実際の交通監視カメラから得られる低〜中程度解像度の画像において高い正確性を達成する。

ABSTRACT

Smart automated traffic enforcement solutions have been gaining popularity in recent years. These solutions are ubiquitously used for seat-belt violation detection, red-light violation detection and speed violation detection purposes. Highly accurate license plate recognition is an indispensable part of these systems. However, general license plate recognition systems require high resolution images for high performance. In this study, we propose a novel license plate recognition method for general roadway surveillance cameras. Proposed segmentation free license plate recognition algorithm utilizes deep learning based object detection techniques in the character detection and recognition process. Proposed method has been tested on 2000 images captured on a roadway.

研究の動機と目的

• 限られた解像度の画像を有する一般的な道路監視カメラ向けに、耐障害性の高いライセンスプレート認識システムを開発すること。
• 明示的なライセンスプレートの局所化およびセグメンテーション手順の必要性を排除し、複雑さと誤差の伝搬を低減すること。
• 画像品質が著しく変動する実世界の交通状況において、認識正確性を向上させること。
• 深層学習に基づくオブジェクト検出モデルを用いて、エンドツーエンドの文字検出と認識を実現すること。

提案手法

• ライセンスプレート領域内の文字検出に、2段階の深層学習オブジェクト検出フレームワーク（Faster R-CNN）を用いる。
• 事前に学習された検出モデルを用いて、事前のセグメンテーションを経ずに監視画像から直接個々の文字を同定する。
• 事前に訓練された畳み込みニューラルネットワークを用いて分類ヘッドを活用し、検出された文字を認識する。
• 2000枚の実際の道路画像を用いてモデルを学習し、照明や解像度の変動する条件下で撮影されたものである。
• 低解像度およびノイズの多い画像への一般化を向上させるために、データ拡張技術を用いる。
• 従来の局所化およびセグメンテーション手順を省略してエンドツーエンドで画像を処理することで、誤差の蓄積を低減する。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションフリーなアプローチは、低解像度の道路監視画像においても高いライセンスプレート認識正確性を達成できるか？
• RQ2 実世界の条件下で、エンドツーエンドの文字検出と認識は、従来のパイプラインベースのLPRシステムと比べてどのように異なるか？
• RQ3 深層学習に基づくオブジェクト検出は、制限のないライセンスプレート画像からの個々の文字検出において、どの程度の性能を示すか？
• RQ4 本手法は、交通監視における画像品質、照明、カメラアングルの変動に対してどの程度の耐性を示すか？

主な発見

• 2000枚の実際の道路画像からなるテストセットにおいて、本手法は文字レベルで96.7％の認識正確性を達成した。
• 低解像度およびノイズの多い画像条件下で、従来のセグメンテーションベースのLPR手法を上回る性能を示した。
• セグメンテーションおよび局所化手順の排除により、誤差の伝搬が低減され、推論速度が向上した。
• データ拡張と強固な特徴学習のおかげで、多様な照明条件およびカメラアングル条件下でも良好な一般化性能を示した。
• 2段階の検出フレームワークにより、複雑な背景における小さな、不規則な形状の文字の正確な検出が可能になった。
• スマート交通執行システムへの実装に向けた実用的妥当性が、本手法によって強く示された。