[論文レビュー] Spatial-Temporal Correlation and Topology Learning for Person Re-Identification in Videos

Jiawei Liu, Zheng-Jun Zha+3 more|arXiv (Cornell University)|Apr 15, 2021

Video Surveillance and Tracking Methods参考文献 49被引用数 9

ひとこと要約

本稿では、動画ベースの人物再識別を対象として、空間的・時系列的相関およびトポロジー学習（CTL）フレームワークを提案する。このフレームワークは、複数スケールの局所的特徴をグラフノードとしてモデル化し、文脈強化トポロジーを活用してスケール間および空間時系列的依存関係を捉える。3次元グラフ畳み込みとスケール間グラフ畳み込みを統合することで、MARSおよびiLIDS-VIDで最先端の性能を達成し、MARSでは91.4%のランク-1精度と86.7%のmAPを達成した。

ABSTRACT

Video-based person re-identification aims to match pedestrians from video sequences across non-overlapping camera views. The key factor for video person re-identification is to effectively exploit both spatial and temporal clues from video sequences. In this work, we propose a novel Spatial-Temporal Correlation and Topology Learning framework (CTL) to pursue discriminative and robust representation by modeling cross-scale spatial-temporal correlation. Specifically, CTL utilizes a CNN backbone and a key-points estimator to extract semantic local features from human body at multiple granularities as graph nodes. It explores a context-reinforced topology to construct multi-scale graphs by considering both global contextual information and physical connections of human body. Moreover, a 3D graph convolution and a cross-scale graph convolution are designed, which facilitate direct cross-spacetime and cross-scale information propagation for capturing hierarchical spatial-temporal dependencies and structural information. By jointly performing the two convolutions, CTL effectively mines comprehensive clues that are complementary with appearance information to enhance representational capacity. Extensive experiments on two video benchmarks have demonstrated the effectiveness of the proposed method and the state-of-the-art performance.

研究の動機と目的

• ポーズの変化、隠蔽、視点の変化の下でも、動画ベースの人物再識別における判別的表現学習の課題に対処すること。
• 時間的または空間的関係のみをモデル化する既存手法の限界、固定された部分分割や信頼性の低いキーポイント推定に起因する問題を克服すること。
• 複数の粒度と時間フレームにわたる身体部の間の階層的空間的・時系列的依存関係と構造的情報を捉えること。
• グラフベースの学習により、スケール間および空間時系列的情報を統合的にモデル化することで、局所的特徴のロバスト性と整合性を向上させること。
• グローバルな文脈と物理的ボディ部接続を統合した文脈強化トポロジーを構築し、グラフ構造の整合性を向上させること。

提案手法

• 3つの粒度（微細、中程度、粗い）で、セマンティックな局所的特徴を抽出するためのCNNバックボーンとキーポイント推定器を用い、それらをグラフノードとして扱う。
• グローバルな文脈的手がかりと物理的ボディ部接続を組み合わせた文脈強化トポロジーを用いて、マルチスケールのグラフを構築する。
• 各スケール内で空間的および時系列的次元にわたり情報を伝搬させるために、3次元グラフ畳み込み（3D-GCL）を適用する。
• 異なる粒度レベル間での特徴の転送と統合を可能にするために、スケール間グラフ畳み込み（CS-GCL）を導入し、補完的特徴の抽出を強化する。
• 表現能力と最適化の安定性の両立を図るため、受容 field サイズ τ=3 の2層構造の3D-GCLを採用する。
• 3D-GCLとCS-GCLを同時に最適化することで、複雑な空間的・時系列的依存関係と構造的パターンを捉え、特徴表現を精緻化する。

Figure 1: Three example video sequences on MARS and iLIDS-VID datasets with partial occlusions, inaccurate detection and viewpoint variation.

実験結果

リサーチクエスチョン

• RQ1 ポーズの変化や隠蔽に対してロバストであるよう、複数粒度の局所的特徴をどのように効果的にモデル化できるか？
• RQ2 文脈強化トポロジーは、身体部間の内在的空間的・時系列的関係をどの程度向上させられるか？
• RQ3 3次元グラフ畳み込みとスケール間グラフ畳み込みを併用することで、空間・時間・スケールの各次元における階層的依存関係を捉えることにより、表現能力が向上するか？
• RQ4 異なる粒度レベルからの補完的特徴の統合は、全体の再識別精度にどのような影響を与えるか？
• RQ5 レイヤー数や受容 field サイズなどのハイパーパrameter設定（例：τ）は、最適な性能を発揮するのにどのようになるか？

主な発見

• CTLはMARSデータセットで91.4%のランク-1精度と86.7%のmAPを達成し、新たな最先端性能を樹立した。
• アブレーションスタディの結果、文脈強化トポロジー、3D-GCL、CS-GCLの各コンポーネントが段階的に性能向上に寄与しており、完全なモデルはベースラインからmAPで+2.8%の向上を示した。
• 3D-GCLの受容 field サイズτ=3が最適な性能を発揮した。τ=5のより大きな近傍では、関係のない時系列ノードからのノイズが性能を低下させるためである。
• 2層構造のCS-GCLは性能の低下を引き起こし、冗長な特徴統合が表現能力を損なうことが示された。1層構造のCS-GCLが最適である。
• Grad-CAMによる可視化により、CTLが、隠蔽や視点変化の下でも、フレーム間で整合的で判別性の高い特徴を学習していることが確認された。
• リtrievalの結果、ランク-5の結果はすべて正しく、誤認識や視覚的変化に対してもロバストであることが示された。

Figure 2: The overall architecture of the proposed CTL. It consists of a backbone network with a key-points estimator, a context block, multiple 3D graph convolution layers (3D-GCLs), multiple cross-scale graph convolution layers (CS-GCLs) and a fusion block.