[論文レビュー] Attributes Guided Feature Learning for Vehicle Re-identification

Li, Hongchao, Xianmin Lin+5 more|arXiv (Cornell University)|May 22, 2019

Video Surveillance and Tracking Methods参考文献 55被引用数 34

ひとこと要約

カメラ視点、車両タイプ、カラーを用いて深層特徴学習を導く統一的な深層学習フレームワーク(DF-CVTC)を提案し、車両再識別で VeRi-776 と VehicleID の新たな最先端を達成。

ABSTRACT

Vehicle Re-ID has recently attracted enthusiastic attention due to its potential applications in smart city and urban surveillance. However, it suffers from large intra-class variation caused by view variations and illumination changes, and inter-class similarity especially for different identities with the similar appearance. To handle these issues, in this paper, we propose a novel deep network architecture, which guided by meaningful attributes including camera views, vehicle types and colors for vehicle Re-ID. In particular, our network is end-to-end trained and contains three subnetworks of deep features embedded by the corresponding attributes (i.e., camera view, vehicle type and vehicle color). Moreover, to overcome the shortcomings of limited vehicle images of different views, we design a view-specified generative adversarial network to generate the multi-view vehicle images. For network training, we annotate the view labels on the VeRi-776 dataset. Note that one can directly adopt the pre-trained view (as well as type and color) subnetwork on the other datasets with only ID information, which demonstrates the generalization of our model. Extensive experiments on the benchmark datasets VeRi-776 and VehicleID suggest that the proposed approach achieves the promising performance and yields to a new state-of-the-art for vehicle Re-ID.

研究の動機と目的

• 視点の変化による大きなクラス内変動と類似した外観によるクラス間の類似性を解決することで、車両 Re-ID の動機づけを行う。
• カメラ視点、車両タイプ、カラーを特徴学習に組み込むエンドツーエンドのアーキテクチャを提案し、識別性を向上させる。
• VeRi-776 で学習し、VehicleID へ転送することで属性ガイド付き特徴がデータセット間で一般化することを示す。

提案手法

• バックボーンネットワークはタスク間で共有され、ResNet-50 の最初の3ブロック。
• 3つの属性サブネットワーク（視点、型、色）がそれぞれの Softmax 分布を予測し、専門的な特徴抽出器に重みを付与する。
• 属性ユニットからの特徴マップは要素ごとに F = F_view ⊕ F_type ⊕ F_color に統合される。
• 2つの FC 層を持つ埋め込みネットワークが統合特徴を F_joint に変換し、訓練には ID softmax を適用。
• 訓練は段階的に行い、各属性サブネットワークを対応する損失で学習し、次に ID 損失で共同微調整する。
• Adam オプティマイザ、ミニバッチ16、ランダムな2D 平行移動によるデータ拡張、入力サイズ 256×256 にて訓練。

実験結果

リサーチクエスチョン

• RQ1 カメラ視点、車両タイプ、カラーを統一エンドツーエンドのフレームワークに組み込むことで、車両再識別の性能を改善できるか。
• RQ2 視点/タイプ/カラーのサブネットワークを段階的に訓練することで、単一タスクのベースラインより良い特徴表現が得られるか。
• RQ3 属性ガイド付き学習は、属性の利用可能性が異なるデータセット（VeRi-776 対 VehicleID）間でどれだけ一般化するか。

主な発見

Dataset	Test Size	mAP	Rank-1	Rank-5	Notes
VeRi-776	All (DF-CVTC)	61.06	91.36	95.77	Proposed method with all three attribute subnetworks on VeRi-776 (Table I).
VehicleID	800	78.03	75.23	88.11	Proposed method with DF-CVTC on VehicleID (Table II).
VehicleID	1600	74.87	72.15	84.37	Proposed method with DF-CVTC on VehicleID (Table II).
VehicleID	2400	73.15	70.46	82.13	Proposed method with DF-CVTC on VehicleID (Table II).

• DF-CVTC は VeRi-776 で mAP 61.06、Rank-1 91.36、Rank-5 95.77 の最先端性能を達成。
• VehicleID では、三つの属性サブネットワークをすべて用いた DF-CVTC が mAP 78.03/75.23/88.11 (Test Size 800)、74.87/72.15/84.37 (Test Size 1600)、73.15/70.46/82.13 (Test Size 2400) を達成。
• 視点→型→色のサブネットワークを順次追加することで、ResNet-50 ベースラインより一貫して指標が向上。
• CAM による可視化は、サブネットワーク追加に伴い、視点識別領域、型識別領域、色識別領域へ注意が移動することを示す。
• 属性サブネットワークは VeRi-776 で事前訓練し、ID ラベルのみを提供する他データセットへ転用できる。