[論文レビュー] View Independent Vehicle Make, Model and Color Recognition Using Convolutional Neural Network

Afshin Dehghan, Syed Zain Masood+2 more|arXiv (Cornell University)|Feb 6, 2017

Advanced Neural Network Applications参考文献 12被引用数 23

ひとこと要約

本論文では、300万枚を超える画像から構成される大規模データセットで訓練された深層畳み込みニューラルネットワークを用いて、視点に依存しない車両のメーカー、モデル、色認識システムを提示する。本システムは、Stanford Cars や compCar といったベンチマークデータセットで最先端の性能を達成しており、それぞれトップ-1正解率が93.6%および95.88%に達する。また、準自動化されたデータパイプラインと頑健な画像アライメント技術を用いることで、150 fps のリアルタイム推論を維持している。

ABSTRACT

This paper describes the details of Sighthound's fully automated vehicle make, model and color recognition system. The backbone of our system is a deep convolutional neural network that is not only computationally inexpensive, but also provides state-of-the-art results on several competitive benchmarks. Additionally, our deep network is trained on a large dataset of several million images which are labeled through a semi-automated process. Finally we test our system on several public datasets as well as our own internal test dataset. Our results show that we outperform other methods on all benchmarks by significant margins. Our model is available to developers through the Sighthound Cloud API at https://www.sighthound.com/products/cloud

研究の動機と目的

• 微細な車両クラスの違い（例：BMW 3シリーズ対5シリーズ）を扱うために、視点に依存しない完全自動化された、細分化された車両メーカー、モデル、色認識システムの開発。
• 深層学習を用いて、車両クラス間の微細な視覚的差異を認識する挑戦への対処。
• 小規模なデータセットや高コストな計算を要する従来手法の限界を克服する。
• 訓練用に使用するための、準自動化されたラベリングを用いた大規模かつ高品質なデータセットの構築。
• 法執行警察、監視、交通監視アプリケーション向けに、リアルタイムかつ高精度な車両認識を実現すること。

提案手法

• 本システムは3段階のパイプラインを採用：データ収集、データ前処理、深層学習。
• 多様なソースから500万枚を超える画像を収集し、人間が関与する検証を含む準自動化プロセスでフィルタリング。
• SighthoundのクラウドAPIを用いた車両検出により、車両の局所化とアライメントを実施し、背景の干渉を低減。
• ボクシングボックスの周囲に10%のマージンを適用し、不正確な検出に対応。
• 色認識のため、楕円形マスクを用いて車両本体を分離し、背景の影響を最小限に抑える。
• メーカー／モデル分類用と色分類用の2つの独立した深層ニューラルネットワークを訓練。両者とも高精度と低推論コストを最適化している。

実験結果

リサーチクエスチョン

• RQ1 大規模で準自動ラベリングされたデータセットで訓練された深層畳み込みニューラルネットワークは、視点に依存しない車両メーカー、モデル、色認識で最先端の性能を達成できるか？
• RQ2 本手法は、Stanford Cars や compCar といった公開ベンチマークで、従来手法と比較してどの程度の性能を示すか？
• RQ3 データアライメントと背景抑制は、さまざまな視点や環境条件下で認識精度をどの程度向上させるか？
• RQ4 本モデルは、多様な実世界の画像においても、高精度を維持しながらリアルタイム推論（例：150 fps）を達成できるか？
• RQ5 公開データセットでのファインチューニングは、製造年などの時間的変動が元のトレーニングデータに含まれない場合、性能にどの程度影響を与えるか？

主な発見

• Stanford Cars データセットではトップ-1正解率が93.6%を達成し、Krauseら（92.8%）やLinら（91.3%）の先行手法を上回った。
• compCar データセットでは、トップ-1正解率が95.88%、トップ-5正解率が99.53%を達成し、GoogLeNet（トップ-1正解率91.2%）を4.68ポイント上回った。
• ファインチューニングなしでも、compCarの検証ベンチマークの「簡単」「中程度」「困難」なセットで、それぞれ92.03%、86.52%、80.17%の検証正解率を達成した。
• 監視映像や高角度からの個人撮影のような多様な実世界のシナリオにおいても、モデルの頑健性が確認された。
• バッチ処理モードで150 fpsのリアルタイム推論を達成しており、高い精度にもかかわらず、強力な計算効率を示した。
• 準自動ラベリングパイプラインの活用により、300万枚を超えるラベル付き画像を含む大規模データセットが構築可能になった。色ラベルはその一部に限定された。