[論文レビュー] Discriminative Feature and Dictionary Learning with Part-aware Model for Vehicle Re-identification

Huibing Wang, Jinjia Peng+3 more|arXiv (Cornell University)|Mar 16, 2020

Video Surveillance and Tracking Methods参考文献 34被引用数 4

ひとこと要約

本論文は、車両画像を水平および垂直方向に領域に分割することで、局所的特徴を判別的に学習するTriplet Center Lossに基づくパーツ認識モデル（TCPM）を提案する。外部メモリモジュールを統合してグローバル特徴分布をモデル化し、トリプレット・センター損失を用いてクラス内コンパクト性とクラス間分離性を強化することで、VehicleIDおよびVeRi-776で最先端の性能を達成し、mAPで最大1.29%、Rank-1で1.12%の向上を達成した。

ABSTRACT

With the development of smart cities, urban surveillance video analysis will play a further significant role in intelligent transportation systems. Identifying the same target vehicle in large datasets from non-overlapping cameras should be highlighted, which has grown into a hot topic in promoting intelligent transportation systems. However, vehicle re-identification (re-ID) technology is a challenging task since vehicles of the same design or manufacturer show similar appearance. To fill these gaps, we tackle this challenge by proposing Triplet Center Loss based Part-aware Model (TCPM) that leverages the discriminative features in part details of vehicles to refine the accuracy of vehicle re-identification. TCPM base on part discovery is that partitions the vehicle from horizontal and vertical directions to strengthen the details of the vehicle and reinforce the internal consistency of the parts. In addition, to eliminate intra-class differences in local regions of the vehicle, we propose external memory modules to emphasize the consistency of each part to learn the discriminating features, which forms a global dictionary over all categories in dataset. In TCPM, triplet-center loss is introduced to ensure each part of vehicle features extracted has intra-class consistency and inter-class separability. Experimental results show that our proposed TCPM has an enormous preference over the existing state-of-the-art methods on benchmark datasets VehicleID and VeRi-776.

研究の動機と目的

• 監視システムにおける共通のデザインや製造元による類似外観の車両を区別する課題に対処すること。
• グローバルな外観特徴に依存するのではなく、細分化された局所的パーツ特徴に注目することで、車両再識別性能を向上させること。
• 新しい損失関数とメモリベースの特徴モデリングを通じて、局所的車両特徴のクラス内一貫性とクラス間分離性を強化すること。
• 空間的分割とグローバル辞書学習を活用して、車両再識別における判別的特徴学習を促進するスケーラブルなフレームワークを開発すること。

提案手法

• 車両特徴マップを複数の水平および垂直領域に分割し、局所的判別的特徴を抽出する。
• 各パーツの全アイデンティティにわたるグローバル中央特徴ベクトルを格納・維持する外部メモリモジュールを導入し、グローバル辞書を形成する。
• グローバル中央特徴ベクトルをアンカーとして用いるトリプレット・センター損失関数を採用し、クラス内コンパクト性とクラス間マージンの最適化を図る。
• 水平分割用と垂直分割用の2本のブランチを持つネットワークアーキテクチャを採用し、多方向の特徴学習を可能にする。
• 全データセットにわたる局所特徴の分布をモデリングすることで、特徴学習の安定化を図る。
• 複数のパーツ領域からの特徴表現を統合して1つの埋め込みにすることで、グローバルおよびローカル特徴学習を統合する。

実験結果

リサーチクエスチョン

• RQ1 車両特徴を水平および垂直方向のパーツに空間的に分割することで、車両再識別における判別的特徴学習が向上するか？
• RQ2 グローバル特徴分布をモデリングする外部メモリモジュールを組み込むことで、クラス内一貫性と再識別精度が向上するか？
• RQ3 標準的なトリプレット損失と比較して、トリプレット・センター損失はクラス間分離性とクラス内コンパクト性をどの程度改善するか？
• RQ4 提案されたパーツ認識モデルは、グローバル特徴のみに依存するベースラインや、既存の最先端手法と比較して、標準ベンチマークでどのように性能を発揮するか？
• RQ5 本モデルは、テストセットサイズの変動や視点・照明の変化といった困難な条件下でも一般化可能か？

主な発見

• 提案されたTCPMモデルは、VeRi-776データセットでmAP 85.13%、Rank-1 81.96%を達成し、ベースライン比mAPで5.06ポイントの向上を示した。
• VehicleIDデータセットでは、TCPMがmAP 74.59%、Rank-1 93.98%を達成し、ベースライン比mAPで1.29%の向上を記録した。
• トリプレット・センター損失の追加（OneBranch+Mem+TC）により、VeRi-776でmAPが1.05%、Rank-1が0.89%向上した。
• 2ブランチアーキテクチャ（TwoBranch+Mem+TC）は、VehicleIDのテストセットサイズが800、1600、2400の各条件下で、それぞれmAPが0.51%、0.59%、0.79%向上した。
• 可視化結果から、本モデルが視点や照明の変化に対して高いロバスト性を示し、多様な条件下でも正確なマッチングを実現していることが確認された。
• 外部メモリモジュールは、局所パーツ特徴のグローバル分布をモデリングすることで、特徴学習の安定化と一般化性能の向上に効果を発揮した。