[論文レビュー] Towards End-to-End Car License Plates Detection and Recognition with Deep Neural Networks

Hui Li, Peng Wang+1 more|arXiv (Cornell University)|Sep 26, 2017

Vehicle License Plate Recognition参考文献 17被引用数 40

ひとこと要約

本稿では、統合された畳み込みニューラルネットワークと再帰ニューラルネットワークを用いて、一括処理で車両のナンバープレートを検出および認識するエンドツーエンドのディーブラーニングフレームワークを提案する。検出と認識の両ブランチで特徴を共有し、全ネットワークをエンドツーエンドで訓練することで、誤差の蓄積を低減し、中間処理ステップを排除し、高い精度と効率性を実現した。

ABSTRACT

In this work, we tackle the problem of car license plate detection and recognition in natural scene images. We propose a unified deep neural network which can localize license plates and recognize the letters simultaneously in a single forward pass. The whole network can be trained end-to-end. In contrast to existing approaches which take license plate detection and recognition as two separate tasks and settle them step by step, our method jointly solves these two tasks by a single network. It not only avoids intermediate error accumulation, but also accelerates the processing speed. For performance evaluation, three datasets including images captured from various scenes under different conditions are tested. Extensive experiments show the effectiveness and efficiency of our proposed approach.

研究の動機と目的

• 誤差伝搬と非効率性に悩まされる従来の2段階型のナンバープレート検出と認識パイプラインの限界を解消する。
• 1回の順伝播で両方のタスクを実行する統合されたディープニューラルネットワークを構築する。
• 共有特徴学習によるタスクの共同最適化により、検出と認識の精度を向上させる。
• 認識を検出パイプラインに直接統合することで、文字のグループ化、分離、またはクロッピングといったヒューリスティックな後処理ステップを排除する。
• 多様な撮影条件の下で、制御不能な環境でもリアルタイム応用に適した高速な推論を達成する。

提案手法

• 畳み込みニューラルネットワーク（CNN）による特徴抽出、領域提案ネットワーク（RPN）によるナンバープレート候補の生成、およびバウンディングボックスの回帰と分類に多層パーセプトロン（MLP）を組み合わせた統合ディープニューラルネットワークアーキテクチャを設計する。
• シーケンスベースのナンバープレート認識に双方向長短期記憶（BLSTM）ネットワークを統合し、検出ブランチからの特徴を直接処理する。
• 検出と認識の両ブランチで同じ畳み込み特徴マップを共有することで、モデルサイズを削減し、パラメータの効率性を向上させる。
• 分類とバウンディングボックス回帰の検出損失、およびシーケンス対シーケンス交差エントロピーの認識損失を含む組み合わせ損失関数を用いて、全ネットワークをエンドツーエンドで訓練する。
• 異なるスケールにわたる堅牢なバウンディングボックス予測のため、スケール不変の平行移動と対数空間における高さ・幅のシフトを適用する。
• 重複する検出をフィルタリングするために非最大抑制（NMS）を適用するが、論文ではNMSが処理時間の約50％を占めており、将来的な最適化の対象であると指摘している。

実験結果

リサーチクエスチョン

• RQ1 1つのディープニューラルネットワーク内でナンバープレート検出と認識を共同学習させることで、別々のモデルと比較して全体的な性能が向上するか？
• RQ2 検出と認識ブランチ間で畳み込み特徴を共有することで、モデルの効率性と精度がどの程度向上するか？
• RQ3 中間処理ステップを排除したエンドツーエンド学習が、複雑な現実世界のシーンにおける検出と認識の精度にどのように影響するか？
• RQ4 本手法は、照明の変化、部分的遮断、視点の変化といった多様な撮影条件においても高い性能を維持できるか？
• RQ5 従来の2段階型または別々のモデルと比較して、本フレームワークの計算効率はどの程度か？

主な発見

• 共同学習モデルはPKUDataデータセットで99.80％の平均検出率を達成し、前回の最良手法より2％優れていた。
• AOLPデータセットでは、ACセットで95.29％の検出精度、LEで96.57％、RPで83.63％を達成し、それぞれ99.56％、99.34％、98.85％の認識精度を示した。
• 検出専用バージョンのモデルはPKUDataで99.58％の平均検出率を達成したが、共同学習バージョンでは99.80％に上昇し、認識の監視が検出性能の向上に寄与していることが示された。
• Titan X GPU上では、1枚の画像あたり0.3～0.4秒で処理が可能であり、Liらの手法（1000～2000 ms）よりも顕著に高速であった。
• AOLP、PKUData、CarFlag-Largeの3つのデータセットにおいて、すべてで最先端の手法を上回り、多様なナンバープレートタイプと撮影条件に対して高いロバスト性を示した。
• 認識を検出パイプラインに統合することで、クロッピングや文字分離などの後処理ステップの必要性が低減し、推論パイプラインが簡素化された。