[論文レビュー] Adversarial Generation of Training Examples: Applications to Moving Vehicle License Plate Recognition

Xinlong Wang, Zhipeng Man+2 more|arXiv (Cornell University)|Jul 11, 2017

Vehicle License Plate Recognition参考文献 40被引用数 37

ひとこと要約

本稿では、移動中の車両のナンバープレート認識（LPR）のための深層学習モデルの訓練に、CycleGANとWGANトレーニングを活用した新しいパイプラインを提案する。GANで生成された画像で事前学習した軽量な畳み込み・再帰ニューラルネットワーク（LightCRNN）を、実際のデータで微調整することで、限られた実データでも強力なベースライン比で7.5パーセンテージポイントの精度向上を達成し、モバイルおよび組み込みデバイスでも効率的な推論を可能にする。

ABSTRACT

Generative Adversarial Networks (GAN) have attracted much research attention recently, leading to impressive results for natural image generation. However, to date little success was observed in using GAN generated images for improving classification tasks. Here we attempt to explore, in the context of car license plate recognition, whether it is possible to generate synthetic training data using GAN to improve recognition accuracy. With a carefully-designed pipeline, we show that the answer is affirmative. First, a large-scale image set is generated using the generator of GAN, without manual annotation. Then, these images are fed to a deep convolutional neural network (DCNN) followed by a bidirectional recurrent neural network (BRNN) with long short-term memory (LSTM), which performs the feature learning and sequence labelling. Finally, the pre-trained model is fine-tuned on real images. Our experimental results on a few data sets demonstrate the effectiveness of using GAN images: an improvement of 7.5% over a strong baseline with moderate-sized real data being available. We show that the proposed framework achieves competitive recognition accuracy on challenging test datasets. We also leverage the depthwise separate convolution to construct a lightweight convolutional RNN, which is about half size and 2x faster on CPU. Combining this framework and the proposed pipeline, we make progress in performing accurate recognition on mobile and embedded devices.

研究の動機と目的

• 移動中の車両LPRのための深層学習モデルを訓練する際の、ラベル付きの実世界のナンバープレート画像の不足に取り組むこと。
• 生成的対抗ネットワーク（GAN）が、実世界の認識タスクにおいて分類性能を向上させるような合成訓練データを生成できるかどうかを調査すること。
• モバイルおよび組み込みデバイスへのデプロイメントに適した、軽量で効率的なニューラルネットワークアーキテクチャの開発。
• 移動するカメラ、高速な動き、変動する照明などの困難な条件下でも高精度なLPRを実現すること。
• GANで生成された画像にカリキュラム学習を組み合わせることで、モデルの汎化性能と耐障害性が顕著に向上することを示すこと。

提案手法

• コンピュータグラフィックスパイプラインにより、正しいフォント、色、文字列を備えた合成ナンバープレート画像を生成し、正解ラベルを保持する。
• 対応する実写対合成データが存在しない状態で、サイクル整合性とWGAN損失を用いることで、合成画像を写真のようなリアルな画像に変換するためのCycleGANモデルを訓練する。
• 訓練されたGANジェネレータにより、80万枚の合成的でリアルなナンバープレート画像が生成され、データ拡張に使用される。
• 双方向LSTMを備えた深層畳み込み・再帰ニューラルネットワーク（CRNN）を、GANで生成された画像で事前学習し、強固な特徴を学習する。
• カリキュラム学習戦略を用いて、実世界の訓練データで事前学習モデルを微調整することで、汎化性能を向上させる。
• 深度分離畳み込みを用いて設計された軽量CRNN（LightCRNN）により、モデルサイズを43.5％削減し、CPU上での推論速度を2倍に向上させる。

実験結果

リサーチクエスチョン

• RQ1 GANで生成された合成画像は、実世界のデータが乏しい認識タスク（移動中の車両LPR）において、深層学習モデルの性能を効果的に向上させることができるか？
• RQ2 CycleGANを用いた未対応画像変換にWGAN損失を適用することで、教師あり分類の訓練データとして十分にリアルな画像が得られるか？
• RQ3 GANで生成されたデータで事前学習した後に実データで微調整することで、認識精度とモデルの汎化性能にどのような影響を与えるか？
• RQ4 深度分離畳み込みに基づく軽量ニューラルネットワークアーキテクチャは、モバイルおよび組み込みデバイスでの高速推論を維持しながらも、高い精度を維持できるか？
• RQ5 実データが限られている状況において、GANで生成されたデータがモデル性能に与える影響は何か？

主な発見

• 限定的な実データ（中程度のサイズ）しか利用できない状況でも、提案されたパイプラインにより強力なベースライン比で7.5パーセンテージポイントの認識精度向上を達成した。
• 難易度の高い移動LPRデータセット（Dataset-3）では、GANデータ拡張パイプラインを適用した後、認識精度が89.4％から92.1％に向上した。
• LightCRNNとGANで生成されたデータの組み合わせにより、ベンチマークデータセットで98.6％の認識精度を達成し、優れた汎化性能を示した。
• LightCRNNモデルにより、モデルサイズを71.4 MBから40.3 MBに削減し、CPU上での推論速度を7.2 FPSから13.9 FPSに向上させ、エッジデバイスへの効率的なデプロイメントを可能にした。
• 実データが乏しい状況では、GANで生成された画像の使用が特に効果的であり、データ制限下での性能向上が顕著に見られた。
• 可視化結果から、GANで生成された画像が、実際のナンバープレートの本質的な視覚的パターンを的確に捉えていることが確認され、訓練データとしての有効性が裏付けられた。