[論文レビュー] CNN for License Plate Motion Deblurring

Pavel Svoboda, Michal Hradiš+2 more|arXiv (Cornell University)|Feb 25, 2016

Advanced Image Processing Techniques参考文献 11被引用数 9

ひとこと要約

本稿では、実際の交通監視システムからのナンバープレート画像のぼかしを除去するための畳み込みニューラルネットワーク（CNN）手法を提案する。本手法は、近似されたぼかしカーネルを用いた人工的に生成された訓練データを活用しており、従来のブレード・デコンボリューション手法に比べて優れた再構成品質を達成している。CNNが合成データで学習した後でも、部分的なカーネル制約のもとで現実のぼかしパターンに一般化できることを示している。

ABSTRACT

In this work we explore the previously proposed approach of direct blind deconvolution and denoising with convolutional neural networks in a situation where the blur kernels are partially constrained. We focus on blurred images from a real-life traffic surveillance system, on which we, for the first time, demonstrate that neural networks trained on artificial data provide superior reconstruction quality on real images compared to traditional blind deconvolution methods. The training data is easy to obtain by blurring sharp photos from a target system with a very rough approximation of the expected blur kernels, thereby allowing custom CNNs to be trained for a specific application (image content and blur range). Additionally, we evaluate the behavior and limits of the CNNs with respect to blur direction range and length.

研究の動機と目的

• 実際の交通監視システムにおけるナンバープレート画像の運動ぼかしを、ぼかしが部分的に制約されている状況で解消すること。
• 合成データで学習したCNNが、監視映像における現実のぼかしパターンに一般化できるかどうかを評価すること。
• ぼかしの方向および長さの変動に対するCNN性能の限界を調査すること。
• ディープラーニングが実用的なナンバープレートのぼかし除去シナリオにおいて、古典的なブレード・デコンボリューションを上回ることを実証すること。

提案手法

• 本手法は、合成データで学習したCNNアーキテクチャを用いた、直接的なブレード・デコンボリューションおよびノイズ除去フレームワークを採用する。
• 訓練データは、ターゲット監視システムのシャープな画像に、想定されるぼかしカーネルの粗い近似を適用することで生成される。
• CNNは、ぼかし入力を入力として、ぼかしカーネルと元のシャープな画像をエンドツーエンドで推定する。
• ぼかしカーネルに部分的な制約を設けることで、一般化性能と再構成忠実度を向上させる。
• 実際の監視映像を用いてモデルを評価し、現実の条件下での性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 合成データで学習したCNNは、従来のブレード・デコンボリューションと比較して、実際のナンバープレート画像のぼかし除去において優れた性能を発揮できるか？
• RQ2 ぼかしの方向や長さがトレーニング分布を越えて変化した場合、モデルの性能はいかがなるか？
• RQ3 ぼかしカーネルの範囲および方向に対するCNNの性能限界は何か？
• RQ4 ぼかしカーネルの粗い近似をデータ生成段階で用いることで、現実のデータに対する一般化が向上するか？

主な発見

• CNNベースの手法は、実際のナンバープレート画像のぼかし除去において、従来のブレード・デコンボリューション手法を顕著に上回っている。
• 人工的にぼかしたデータで学習したにもかかわらず、実際のぼかしパターンに良好に一般化している。
• ぼかしの方向や長さがトレーニング時に見た範囲を超えると性能が低下するため、モデルは分布シフトに感受性を示している。
• ぼかしカーネルの粗い近似をデータ生成段階で用いることで、正確なぼかし情報がなくても効果的な学習が可能である。