[論文レビュー] Parsing-based View-aware Embedding Network for Vehicle Re-Identification

Dechao Meng, Liang Li+7 more|arXiv (Cornell University)|Apr 10, 2020

Video Surveillance and Tracking Methods参考文献 37被引用数 11

ひとこと要約

本稿では、U-Netスタイルのパーツパーサーを用いて前方、後方、上部、側面の4つのビュー マスクを生成することで、視覚に適応した特徴抽出を実現するパーサーに基づく視覚認識埋め込みネットワーク（PVEN）を提案する。この手法により、マスク平均プーリングによる視覚に適応した特徴アライメントと、共通可視注意メカニズムによる特徴の判別力向上が可能となり、インスタンス内変動を低減し、インスタンス間の乖離を増大させることで、3つのベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Vehicle Re-Identification is to find images of the same vehicle from various views in the cross-camera scenario. The main challenges of this task are the large intra-instance distance caused by different views and the subtle inter-instance discrepancy caused by similar vehicles. In this paper, we propose a parsing-based view-aware embedding network (PVEN) to achieve the view-aware feature alignment and enhancement for vehicle ReID. First, we introduce a parsing network to parse a vehicle into four different views, and then align the features by mask average pooling. Such alignment provides a fine-grained representation of the vehicle. Second, in order to enhance the view-aware features, we design a common-visible attention to focus on the common visible views, which not only shortens the distance among intra-instances, but also enlarges the discrepancy of inter-instances. The PVEN helps capture the stable discriminative information of vehicle under different views. The experiments conducted on three datasets show that our model outperforms state-of-the-art methods by a large margin.

研究の動機と目的

• 異なるカメラ間での再識別において、車両の視覚の違いに起因するインスタンス内での顕著な外観変動を軽減すること。
• 同じ色・タイプの類似した車両間の微細なインスタンス間乖離を低減すること。
• 多様な視点にわたって安定した判別力のある特徴を学習し、一般化すること。
• パーサーと注目メカニズムを用いて、異なる視点間での特徴のアライメントと強化を向上させること。

提案手法

• U-Netベースの車両パーツパーサーが、前方、後方、上部、側面の4つの視覚特化セグメンテーションマスクを生成し、空間的スーパービジョンを細分化する。
• マスク平均プーリングを用いてグローバル特徴マップ上で視覚に適応した特徴を抽出することで、各視覚に対して完全な空間的カバレッジを確保する。
• 共通可視注意メカニズムが、2台の車両間の重複する可視領域に注目することで、判別力のある局所的特徴を強化する。
• トリプレット損失をグローバル特徴と視覚に適応した局所的特徴の両方に適用し、インスタンス内距離を最小化し、インスタンス間マージンを最大化する。
• 推論時、最終的な距離はグローバル特徴と局所的視覚に適応した特徴を組み合わせて計算する。
• 距離ヒートマップを可視化することで、注目が一致する共通可視領域（例：側面や上部）に集中していることが示され、不一致部分（例：前方・後方のライト）には注目しない。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、異なる車両の視覚間で特徴を効果的にアライメントし、インスタンス内外観変動を低減できるか？
• RQ2 どのようにして、車両間の共通可視領域に注目することで、判別力のある局所的特徴を強化できるか？
• RQ3 パーサーに基づくアプローチは、大きな視点変化下でも特徴表現の安定性を向上させられるか？
• RQ4 視覚に適応した特徴学習は、車両ReIDにおけるデータセット間転送性をどの程度向上させるか？

主な発見

• PVENは、VERI-Wildで学習した上でVehicleIDで評価したところ、テストセットへの学習なしにRAMやEALNを上回り、CMC@1が77.2%、CMC@5が94.4%を達成した。
• PVENは、3つのベンチマークデータセット（VeRi776、VehicleID、VERI-Wild）すべてで、mAPおよびCMCスコアにおいて最先端の性能を達成した。
• 可視化結果から、PVENは視覚に適応した学習により、共通可視領域（例：側面や上部）に注目している一方、ベースラインモデルは一致しない部分（例：前方・後方のライト）に注目していることが明らかになった。
• 共通可視注意メカニズムは、インスタンス内距離を効果的に低減し、インスタンス間乖離を増大させることで、一般化性能を向上させた。
• データセット間転送結果から、視覚に適応した特徴学習が、異なるデータセット間で視覚分布の違いに起因する分布シフトを緩和することが確認された。
• 定性的な結果から、PVENは異なる視点の車両を正しく検索できる一方、ベースラインモデルは同じ視点・類似色の車両に限定して検索してしまう傾向があることが示された。