[論文レビュー] Vehicle Re-identification with Viewpoint-aware Metric Learning

Ruihang Chu, Yifan Sun+4 more|arXiv (Cornell University)|Oct 9, 2019

Video Surveillance and Tracking Methods参考文献 33被引用数 15

ひとこと要約

本稿では、視点に配慮したネットワーク（VANet）を提案する。これは、類似視点（S-ビュー）および異なる視点（D-ビュー）ペアに対して、それぞれ専用の特徴空間を用いて分離されたメトリクスを学習する、新たなメトリクス学習アプローチである。訓練中に各空間内および空間間の制約を強制することで、特に困難なD-ビュー正例ペアにおいて顕著に再識別（re-ID）の正確性が向上し、VehicleIDおよびVeri-776ベンチマークで最先端の性能を達成する。

ABSTRACT

This paper considers vehicle re-identification (re-ID) problem. The extreme viewpoint variation (up to 180 degrees) poses great challenges for existing approaches. Inspired by the behavior in human's recognition process, we propose a novel viewpoint-aware metric learning approach. It learns two metrics for similar viewpoints and different viewpoints in two feature spaces, respectively, giving rise to viewpoint-aware network (VANet). During training, two types of constraints are applied jointly. During inference, viewpoint is firstly estimated and the corresponding metric is used. Experimental results confirm that VANet significantly improves re-ID accuracy, especially when the pair is observed from different viewpoints. Our method establishes the new state-of-the-art on two benchmarks.

研究の動機と目的

• 180度に達するような極端な視点変動が生じる車両再識別における課題に対処すること。
• 従来のメトリクス学習手法が、特徴空間内でD-ビュー正例ペアとS-ビュー負例ペアを分離できないという限界を克服すること。
• 二重ブランチネットワークアーキテクチャを用いて、S-ビューとD-ビューのペアに対して異なるマッチング戦略を適用することで、人間の認識行動を模倣すること。
• クエリ画像とギャラリー画像が著しく異なる視点から撮影される実世界の条件下でも、再識別性能を向上させること。
• 追加の属性や外部データに依存せず、IDのラベルと補助的な視点情報のみを用いて、最先端の性能を達成すること。

提案手法

• S-ビューとD-ビューのペアにそれぞれ専用の特徴空間を備えた二本のブランチを持つ深層メトリクス学習ネットワーク、VANetを設計する。
• 各特徴空間内（S-ビュー対S-ビュー、D-ビュー対D-ビュー）で、正例ペアが負例ペアよりも近づくように、空間内制約を強制する。
• 空間間（D-ビュー正例対S-ビュー負例、およびその逆）で、正例ペアが負例ペアよりも近づくように、空間間制約を導入する。
• 推論時、クエリの視点を推定し、それに応じて対応するメトリクス（S-ビューまたはD-ビュー）を選択してマッチングすることで、適応的再識別を実現する。
• 三重組み合わせ損失と対照的損失の両方を用いて、空間内および空間間制約を同時に最適化する。
• 特徴抽出にバックボーンネットワーク（例：ResNet-50 や GoogLeNet）を用い、追加のブランチを備えることで、計算コストの増加を最小限に抑えつつ、視点に特化したメトリクスを学習する。

実験結果

リサーチクエスチョン

• RQ1 視点に配慮したメトリクス学習は、極端な視点変動下でも車両再識別精度を向上させることができるか？
• RQ2 S-ビューとD-ビューの状況に分けてメトリクス学習を分離することで、統一的なメトリクス学習に比べて特徴の識別能が向上するか？
• RQ3 空間間制約は、D-ビュー正例ペアとS-ビュー負例ペアの重複をどれほど効果的に低減できるか？
• RQ4 類似視点と異なる視点に対して異なるマッチング基準を適用する人間の戦略を模倣することで、検索性能が向上するか？
• RQ5 VANetは、追加の属性や外部データに依存せず、標準ベンチマークで既存の最先端手法を上回る性能を達成できるか？

主な発見

• Veri-776ベンチマークにおいて、VANetはmAP 66.34%、トップ1正解率89.78%を達成し、比較されたすべての最先端手法を上回る。
• VehicleIDでは、ResNet-50を用いてmAP 88.12%、トップ1正解率97.29%を達成し、同じバックボーンを用いるベースラインおよびGSTEを上回った。
• D-ビュー正例ペアの性能は顕著に向上し、Veri-776においてベースライン比でmAPが7.59ポイント向上した。
• 距離分布プロットから、空間間制約がD-ビュー正例ペアとS-ビュー負例ペアの重複を特に効果的に低減していることが示された。
• 追加の属性や外部データに依存せず、IDラベルと視点アノテーションのみを用いても、最先端の性能を達成した。
• ブランチの追加にもかかわらず、VANetは計算効率を維持しており、パラメータ数は10.9M（最先端手法の中では2番目に少ない）であり、GSTEのような小型モデルよりも優れた正確性を達成した。