[論文レビュー] Where-and-When to Look: Deep Siamese Attention Networks for Video-based Person Re-identification

Lin Wu, Yang Wang+2 more|arXiv (Cornell University)|Aug 3, 2018

Video Surveillance and Tracking Methods参考文献 37被引用数 5

ひとこと要約

本稿では、動画ベースの人物再識別を目的とした、深層シアンプルアテンションネットワークを提案する。このモデルは、空間的アテンションをゲート付き再帰ユニットに統合することで、判別的なボディパーツや時間的フレームを動的に強調し、3つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Video-based person re-identification (re-id) is a central application in surveillance systems with significant concern in security. Matching persons across disjoint camera views in their video fragments is inherently challenging due to the large visual variations and uncontrolled frame rates. There are two steps crucial to person re-id, namely discriminative feature learning and metric learning. However, existing approaches consider the two steps independently, and they do not make full use of the temporal and spatial information in videos. In this paper, we propose a Siamese attention architecture that jointly learns spatiotemporal video representations and their similarity metrics. The network extracts local convolutional features from regions of each frame, and enhance their discriminative capability by focusing on distinct regions when measuring the similarity with another pedestrian video. The attention mechanism is embedded into spatial gated recurrent units to selectively propagate relevant features and memorize their spatial dependencies through the network. The model essentially learns which parts (\emph{where}) from which frames (\emph{when}) are relevant and distinctive for matching persons and attaches higher importance therein. The proposed Siamese model is end-to-end trainable to jointly learn comparable hidden representations for paired pedestrian videos and their similarity value. Extensive experiments on three benchmark datasets show the effectiveness of each component of the proposed deep network while outperforming state-of-the-art methods.

研究の動機と目的

• 視覚的変化が大きく、フレームレートが異なる複数のカメラ視点間での人物再識別の課題に対処する。
• 従来の手法が特徴学習とメトリック学習を分離して扱うため、空間的・時間的依存関係を十分に活用できないという限界を克服する。
• アテンション機構を用いて空間的文脈と時間的ダイナミクスを同時にモデル化することで、判別的な特徴学習を向上させる。
• エンドツーエンド学習を可能にし、動画表現と類似度スコアリングを同時に最適化することで、一般化性能とロバスト性を向上させる。

提案手法

• ペアドされた歩行者動画シーケンスを処理できる共有重みを持つシアンプルアーキテクチャを採用し、表現と類似度スコアの共同学習を可能にする。
• 各フレームからの局所的空間的特徴を抽出するために2次元畳み込み層を用い、その後に空間的認識型ゲート付き再帰ユニット（GRU）を用いて時間的依存性をモデル化する。
• GRUユニットに視覚的アテンションを統合し、判別的な空間的領域にのみ焦点を当て、時間的に関連する特徴のみを伝搬する。
• シーケンス全体に対して時間的プーリングを適用し、各人物の固定長の動画レベル埋め込みを生成し、類似度マトリクスによる比較を可能にする。
• 特徴表現と類似度予測の両方を最適化するため、コントラスト損失を用いてネットワーク全体をエンドツーエンドで訓練する。
• 空間的アテンションマップを用いて、どのボディパーツやフレームがマッチングに最も関連しているかを可視化し、解釈可能性とオクルージョンに対するロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 特徴表現と類似度マトリクスの共同学習は、分離型アプローチに比べて人物再識別精度を向上させるか？
• RQ2 GRU内に統合されたアテンション機構は、関連するボディパーツやフレームに焦点を当てることで、特徴の判別性をどの程度向上させるか？
• RQ3 大規模なソースデータセットで学習した場合、ドメインシフトを伴う異なるデータセットへの一般化性能はどの程度高いか？
• RQ4 オクルージョン、視点の変化、ごみだらけの背景といった困難な条件下でも、モデルの性能はどの程度維持されるか？

主な発見

• 提案手法は、iLIDS-VID、PRID2011、MARSの3つのベンチマークデータセットで最先端の性能を達成し、それぞれRank-1正解率が98.6%、98.3%、98.8%であった。
• iLIDS-VIDでは、MARSで学習したモデルを用いてiLIDS-VIDでテストした際、Rank-1正解率が98.6%に達し、先行手法を著しく上回った。
• クロスデータセット評価では、強力な一般化性能が確認された。MARSで学習し、iLIDS-VIDの50%およびPRID2011でテストした場合でも、それぞれRank-1正解率が49.2%および61.4%を維持した。
• アブレーションスタディにより、空間的アテンション機構とスタックドGRUアーキテクチャの両方が性能に不可欠であることが確認され、欠落させるとRank-1正解率が最大10%低下した。
• アテンションマップの可視化から、モデルは部分的オクルージョンや背景の雑音がある状況でも、上半身や歩行パターンに効果的に焦点を当てていることがわかった。
• 失敗事例の主な原因は、異なる人物間で上半身の外見や歩行パターンが非常に似ており、特に下半身の特徴がオクルージョンされている場合である。