[論文レビュー] Unsupervised Feature Learning Toward a Real-time Vehicle Make and Model Recognition

Amir Nazemi, Mohammad Javad Shafiee+2 more|arXiv (Cornell University)|Jun 8, 2018

Advanced Neural Network Applications参考文献 27被引用数 7

ひとこと要約

本稿では、SIFT特徴量に対する局所制約線形符号化（LLC）を用いた、リアルタイムで非教師あり特徴量学習を行うORV-MMRというフレームワークを提案する。この手法は、イランの路上データセットで97.5%の精度を達成し、CompuCarでは98.4%の精度を示す。また、多様な照明・天候条件に対しても高い耐障害性を示すとともに、2つの専用クラスを用いて未知の車両を検出可能である。

ABSTRACT

Vehicle Make and Model Recognition (MMR) systems provide a fully automatic framework to recognize and classify different vehicle models. Several approaches have been proposed to address this challenge, however they can perform in restricted conditions. Here, we formulate the vehicle make and model recognition as a fine-grained classification problem and propose a new configurable on-road vehicle make and model recognition framework. We benefit from the unsupervised feature learning methods and in more details we employ Locality constraint Linear Coding (LLC) method as a fast feature encoder for encoding the input SIFT features. The proposed method can perform in real environments of different conditions. This framework can recognize fifty models of vehicles and has an advantage to classify every other vehicle not belonging to one of the specified fifty classes as an unknown vehicle. The proposed MMR framework can be configured to become faster or more accurate based on the application domain. The proposed approach is examined on two datasets including Iranian on-road vehicle dataset and CompuCar dataset. The Iranian on-road vehicle dataset contains images of 50 models of vehicles captured in real situations by traffic cameras in different weather and lighting conditions. Experimental results show superiority of the proposed framework over the state-of-the-art methods on Iranian on-road vehicle datatset and comparable results on CompuCar dataset with 97.5% and 98.4% accuracies, respectively.

研究の動機と目的

• 変動する照明、天候、視点条件が影響する実際の路上環境において、リアルタイムで耐障害性のある車両メーカー・モデル認識システムの開発。
• ライセンスプレート認識（LPR）システムの限界を補うために、国別データベースに依存せずに直接車両を分類可能とする。
• 困難な実世界の撮影条件下でも、外観が類似した車両モデルの細分化分類精度を向上させる。
• 車両のサイズに基づいて、未学習の車両を「未知の軽乗用車」または「未知の大型車」のカテゴリに分類することで、未知クラス検出を実装する。
• 交通インフラ統合システム（ITS）の多様な用途に応じて、処理速度と精度の間で設定可能なトレードオフを実現する。

提案手法

• フレームワークは、車両画像から抽出されたSIFT特徴量を、非教師あり特徴量学習の入力として用いる。
• 局所制約線形符号化（LLC）を用いて、SIFT特徴量をコン act かつ識別性の高いコードブックに効率的に符号化する。
• 二段階分類戦略を採用：まず、ベース分類器が車両を50種類の既知クラスのいずれかに割り当てる。次に、予測の信頼度を評価する。
• システムは、50種類の事前に定義されたクラスに加え、分布外の車両を表す2つの未知クラスを含む、イランの路上車両データセットで学習される。
• リアルタイム推論を最適化しており、MATLABを用いた分類時間は1画像あたり0.09秒である。
• 本手法は、独自に構築したイランの路上データセットとCompuCarデータセットの両方で評価され、速度-精度トレードオフのアブレーションも実施されている。

実験結果

リサーチクエスチョン

• RQ1 実世界の撮影条件下でも、非教師あり特徴量学習アプローチが、細分化された車両メーカー・モデル認識で高い精度を達成できるか？
• RQ2 限られた学習データで、SIFT特徴量の符号化に局所制約線形符号化（LLC）がどれほど有効であるか？
• RQ3 本システムは、50種類の事前定義されたクラスに属さない未知の車両を信頼性高く検出し、分類できるか？
• RQ4 F-G-VMMR や AlexNet といった最先端手法と比較して、本フレームワークは実世界のデータセットで精度と速度の面で優れているか？
• RQ5 本フレームワークは、用途のニーズに応じて、より高速な推論またはより高い精度にカスタマイズ可能か、その程度はどの程度か？

主な発見

• 提案されたORV-MMR-S2フレームワークは、イランの路上車両データセットで平均クラス別精度97.5%を達成し、同じデータセットでF-G-VMMR（95.26%）およびAlexNet（94.43%）を上回った。
• CompuCarデータセットでは98.4%の精度を示し、最先端手法と同等の性能を示した。
• システムは、未知の車両を「未知の軽乗用車」または「未知の大型車」のクラスに正しく検出し、分類でき、分布外の車両の誤分類を低減した。
• 混同行列の結果、主に外観が類似したモデル同士（例：C39とC40）の間で誤分類が発生しており、C13が最も頻繁に誤分類されたクラスであった。
• MATLABを用いた分類ステップは1画像あたり0.09秒で実行され、リアルタイムデプロイメントに適している。
• 本フレームワークは、照明、天候、カメラの視点の変化といった多様な実世界条件において、優れた一般化性能と耐障害性を示した。