[論文レビュー] Eliminating cross-camera bias for vehicle re-identification

Jinjia Peng, Guangqi Jiang+4 more|arXiv (Cornell University)|Dec 21, 2019

Video Surveillance and Tracking Methods参考文献 42被引用数 4

ひとこと要約

本稿では、車両再識別におけるクロスカメラバイアスを低減するため、クロスカメラ適応（CCA）フレームワークとアテンションアライメントネットワーク（AANet）を提案する。本手法は、画像を共通のカメラドメインに変換し、判別性の高い車両部品に注目することで、最先端の性能を達成し、VeRi-776でmAPを2.6%、ランク-1精度を1.65%向上させる。

ABSTRACT

Vehicle re-identification (reID) often requires recognize a target vehicle in large datasets captured from multi-cameras. It plays an important role in the automatic analysis of the increasing urban surveillance videos, which has become a hot topic in recent years. However, the appearance of vehicle images is easily affected by the environment that various illuminations, different backgrounds and viewpoints, which leads to the large bias between different cameras. To address this problem, this paper proposes a cross-camera adaptation framework (CCA), which smooths the bias by exploiting the common space between cameras for all samples. CCA first transfers images from multi-cameras into one camera to reduce the impact of the illumination and resolution, which generates the samples with the similar distribution. Then, to eliminate the influence of background and focus on the valuable parts, we propose an attention alignment network (AANet) to learn powerful features for vehicle reID. Specially, in AANet, the spatial transfer network with attention module is introduced to locate a series of the most discriminative regions with high-attention weights and suppress the background. Moreover, comprehensive experimental results have demonstrated that our proposed CCA can achieve excellent performances on benchmark datasets VehicleID and VeRi-776.

研究の動機と目的

• 照明、視点、解像度、背景の変化に起因する車両再識別における顕著なクロスカメラバイアスを解消する。
• 複数カメラの画像を共通の基準カメラ空間に変換することで、カメラ間のドメインシフトを低減し、外観差を正規化する。
• 判別性の高い車両部品に注目し、背景の干渉を抑えることで、特徴学習を向上させる。
• ドメイン適応とアテンションベースの特徴抽出を統合した包括的なフレームワークを構築し、頑健な車両再識別を実現する。
• カメラ固有のバイアスを軽減することで、VeRi-776およびVehicleIDのベンチマークデータセットで最先端の性能を達成する。

提案手法

• 複数カメラからの車両画像を、1つの基準カメラドメインに変換するため、StarGANベースの画像変換を活用し、照明、解像度、背景を統一する。
• 空間変換ネットワーク（STN）にアテンションモジュールを組み合わせたアテンションアライメントネットワーク（AANet）を導入し、車両の高判別性領域を局所化・注目する。
• STNにアテンションを適用することで、車両画像から顕著な特徴を動的に特定・抽出し、背景の干渉を低減する。
• グローバル特徴、パーツベース特徴、統合特徴を学習するマルチブランチアーキテクチャを採用し、表現力を向上させる。
• クロスカメラコントラスト損失とトリプレット損失を最適化することで、ドメイン間での特徴の判別性を強化する。
• 画像変換によるドメイン適応を適用し、カメラ間の分布シフトを低減することで、多様なカメラビューにわたる一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 照明、視点、解像度の差異に起因するクロスカメラ外観バイアスを、車両再識別で効果的に低減する方法は何か？
• RQ2 画像変換によるドメイン適応は、マルチカメラ監視システムにおける特徴一般化をどの程度向上させるか？
• RQ3 グローバル特徴抽出と比較して、アテンションベースの車両部品局所化は特徴の判別性を向上させるか？
• RQ4 グローバル特徴、パーツベース特徴、統合特徴を組み合わせることで、再識別精度にどのような影響を与えるか？
• RQ5 提案手法は、VeRi-776やVehicleIDといった標準ベンチマークで、既存の最先端手法を上回る性能を発揮するか？

主な発見

• 提案されたCCAフレームワークは、ドメイン適応を施さない元のAANetと比較して、VeRi-776でmAPを2.6%、ランク-1精度を1.65%向上させる。
• アテンションベースの局所化を有するAANetは、固定されたパーツ分割と比較して、VeRi-776でmAPを2.34%、ランク-1を2.68%向上させる。
• VehicleIDでは、3200件のテストセットに対してmAPが3.61%向上し、異なるデータスケールに対しても頑健であることが示された。
• グローバル特徴とパーツベース特徴を統合することで、VeRi-776でグローバル特徴のみに比べてmAPが11.34%向上し、マルチスケール特徴学習の有効性が確認された。
• 可視化結果から、多様な視点や照明条件下でも高い検索精度と頑健性が確認された。
• アブレーションスタディの結果、画像変換（ドメイン適応）とアテンションベースの局所化の両方が、性能向上に不可欠であることが裏付けられた。