[論文レビュー] VehicleNet: Learning Robust Visual Representation for Vehicle Re-identification

Zhedong Zheng, Tao Ruan+3 more|arXiv (Cornell University)|Apr 14, 2020

Video Surveillance and Tracking Methods参考文献 53被引用数 5

ひとこと要約

本稿では、4つの公開データセットを統合した大規模なマルチソース車両再識別データセットであるVehicleNetと、ロバストで視点不変な視覚的表現を学習する2段階の段階的学習手法を提案する。まず分類損失を用いてVehicleNetで事前学習し、その後ターゲットドメインで微調整することで分布の乖離を低減する。この手法により、AICity Challengeのプライベートテストセットで86.07%のmAPを達成し、優勝者を上回り、新たなSOTAを樹立した。

ABSTRACT

One fundamental challenge of vehicle re-identification (re-id) is to learn robust and discriminative visual representation, given the significant intra-class vehicle variations across different camera views. As the existing vehicle datasets are limited in terms of training images and viewpoints, we propose to build a unique large-scale vehicle dataset (called VehicleNet) by harnessing four public vehicle datasets, and design a simple yet effective two-stage progressive approach to learning more robust visual representation from VehicleNet. The first stage of our approach is to learn the generic representation for all domains (i.e., source vehicle datasets) by training with the conventional classification loss. This stage relaxes the full alignment between the training and testing domains, as it is agnostic to the target vehicle domain. The second stage is to fine-tune the trained model purely based on the target vehicle set, by minimizing the distribution discrepancy between our VehicleNet and any target domain. We discuss our proposed multi-source dataset VehicleNet and evaluate the effectiveness of the two-stage progressive representation learning through extensive experiments. We achieve the state-of-art accuracy of 86.07% mAP on the private test set of AICity Challenge, and competitive results on two other public vehicle re-id datasets, i.e., VeRi-776 and VehicleID. We hope this new VehicleNet dataset and the learned robust representations can pave the way for vehicle re-id in the real-world environments.

研究の動機と目的

• 車両再識別における限られた学習データの課題に対処するため、大規模でマルチソースのデータセットを構築すること。
• 視点、照明、隠蔽の変化に対して不変なロバストで判別力のある視覚的表現を学習すること。
• 汎用的車両知識から特定のターゲットドメインにモデルを段階的に適応させる2段階の段階的学習戦略を開発すること。
• AICity Challenge、VeRi-776、VehicleIDといった実世界のベンチマークで手法を評価し、汎化性能と性能向上を示すこと。

提案手法

• 4つの公開車両データセットを統合してVehicleNetを構築し、学習画像数を26,803枚から434,440枚に増加させた。
• 最初の段階として、標準的なクロスエントロピー分類損失を用いて、VehicleNet上でCNNモデルを学習し、汎用的な車両表現を学習した。
• 2番目の段階として、ターゲットデータセットで事前学習済みモデルを微調整し、ドメイン間の分布乖離を最小化した。
• テストセットでの性能向上を図るために、データオーグメンテーション、クエリ拡張、リランキング、モデルアンサンブルを適用した。
• トレーニング時にバランスサンプリングポリシーを適用したが、低頻度クラスでの過学習のため性能に悪影響を与えたため、通常のサンプリングを採用した。
• 中間層からの活性化マップを用いて、ヘッドランプやタイヤなどの判別的部位にモデルが注目しているかを分析するため、学習済みの注目マップを可視化した。

実験結果

リサーチクエスチョン

• RQ1 複数の公開車両データセットを統合して1つの大規模データセットにすることで、車両再識別における特徴のロバスト性が向上するか？
• RQ2 事前学習（汎用データセットで）とドメイン特化の微調整（2段階の段階的学習戦略）を組み合わせた手法が、単一段階の学習よりも優れた性能を発揮するか？
• RQ3 長尾分布を示すマルチソースデータセットで学習する際、データサンプリングポリシーがモデルの汎化性能に与える影響はいかほどか？
• RQ4 クエリ拡張やリランキングといった後処理技術が、実世界の車両再識別環境でmAPをどの程度向上できるか？
• RQ5 多様な視点や照明条件下で学習された深層特徴は、明示的な部位検出や属性認識を伴わずに、本質的に視点不変となるか？

主な発見

• 提案手法の2段階法は、AICity Challengeのプライベートテストセットで86.07%のmAPを達成し、公式優勝者を上回った。
• 時空間アノテーションが存在しないCityFlowバリデーションセットでは75.60%のmAPを達成し、アノテーションを追加することで86.07%に向上した。
• SE-ResNeXt101は、検証セットで83.37%のRank@1と48.71%のmAPを達成し、比較対象のバックボーンの中で最高の性能を示した。
• バランスサンプリングポリシーは、レアクラスでの過学習のため性能を低下させたため、クラスの不均衡が見られるにもかかわらず、通常のサンプリングを採用した。
• 注目マップの可視化により、モデルが異なる視点からもヘッドランプやタイヤといった判別的部位に注目していることが確認された。
• VehicleNet（31,805クラス）では60エポックで収束し、ターゲットドメインではわずか12エポックで微調整が完了したため、効果的な事前学習が実現した。