[論文レビュー] Orientation-aware Vehicle Re-identification with Semantics-guided Part Attention Network

Tsai-Shien Chen, Chih‐Ting Liu+2 more|arXiv (Cornell University)|Aug 26, 2020

Advanced Neural Network Applications参考文献 4被引用数 8

ひとこと要約

本論文は、キーポイントやピクセルレベルのアノテーションを一切不要とし、画像レベルの視点ラベルのみを用いて、視覚的特徴が強い、ビュー固有の注意マスクを生成する、意味的誘導型部品注意ネットワーク（SPAN）を提案する。SPANを共起部品注意距離メトリック（CPDM）と組み合わせることで、最先端の性能を達成し、VeRi-776ではmAPを7.2%、CityFlow-ReIDでは16.7%向上した。

ABSTRACT

Vehicle re-identification (re-ID) focuses on matching images of the same vehicle across different cameras. It is fundamentally challenging because differences between vehicles are sometimes subtle. While several studies incorporate spatial-attention mechanisms to help vehicle re-ID, they often require expensive keypoint labels or suffer from noisy attention mask if not trained with expensive labels. In this work, we propose a dedicated Semantics-guided Part Attention Network (SPAN) to robustly predict part attention masks for different views of vehicles given only image-level semantic labels during training. With the help of part attention masks, we can extract discriminative features in each part separately. Then we introduce Co-occurrence Part-attentive Distance Metric (CPDM) which places greater emphasis on co-occurrence vehicle parts when evaluating the feature distance of two images. Extensive experiments validate the effectiveness of the proposed method and show that our framework outperforms the state-of-the-art approaches.

研究の動機と目的

• 視覚的差が微細な車両を、さまざまな視点で区別する課題に対処すること。
• 車両再識別における部品に注意を向ける特徴を学習するにあたり、高価なキーポイントやピクセルレベルのアノテーションに依存することを減らすこと。
• マッチング画像における共起する車両部品に注目することで、特徴の識別性を向上させること。
• 多様な車両タイプ、色、向きに対しても一般化可能な堅牢な注意メカニズムを設計すること。
• 比較対象の車両画像間で可視で共通する部品に動的に重みを付ける距離メトリックを設計すること。

提案手法

• 画像レベルの視点ラベルのみを用いて、前方、側面、後方の視点に対応する注意マスクを予測する意味的誘導型部品注意ネットワーク（SPAN）を導入する。
• 空間的一致性と解釈可能性を保証するため、マスク再構成損失と2つの補助損失を用いて注意マスクの生成を監督する。
• グローバル特徴と部品に注意を向ける特徴の連結を用いて、表現学習を強化する。
• 2つの画像における可視性と共起性に基づき、部品特徴距離を動的に重み付ける共起部品注意距離メトリック（CPDM）を提案する。
• 特徴埋め込み最適化のため、クロスエントロピー損失とトリプルット損失を用いてネットワークをエンドツーエンドで訓練する。
• 効率的な学習のため、カメラポーズと交通の流れを活用して弱教師付きの画像レベル視点ラベルを取得する。

実験結果

リサーチクエスチョン

• RQ1 キーポイントやピクセルレベルのアノテーションを一切必要とせず、画像レベルの視点ラベルのみで部品の注意マスクを効果的に学習できるか？
• RQ2 意味的誘導型注意は、さまざまな視点下でも車両再識別における特徴の識別性をどのように向上させるか？
• RQ3 共起する部品に注目する距離メトリックは、車両再識別のマッチング精度を向上させることができるか？
• RQ4 多様な車両タイプ、色、向きに対しても、生成された注意マスクはどれほど頑健か？
• RQ5 SPANとCPDMの組み合わせは、標準ベンチマークにおいて既存の最先端手法を上回る性能を発揮するか？

主な発見

• 提案されたSPANとCPDMは、VeRi-776データセットでR-1が94.0%、mAPが68.9%を達成し、先行研究を上回った。
• CityFlow-ReIDでは、R-1が59.5%、R-5が61.9%、mAPが42.0%を達成し、従来のアプローチと比べて顕著な向上を示した。
• 消去実験の結果、SPANの注意マスクがより識別性の高い特徴を抽出しており、ベースラインと比較してmAPが3.8%向上した。
• CPDMメトリックは、標準的なユークリッド距離と比較してmAPを5.8%向上させ、特徴距離計算における有効性を示した。
• 定性的な結果から、SPANは多様な車両に対し、安定的かつ意味のある注意マップを生成しており、困難な視点角でも同様の結果を示した。
• VeRi-776ではGRF-GGL [21]と比較してmAPを7.2%向上し、CityFlow-ReIDではDFFMG [9]と比較して16.7%向上した。