[論文レビュー] Watching You: Global-guided Reciprocal Learning for Video-based Person Re-identification

Xuehu Liu, Pingping Zhang+3 more|arXiv (Cornell University)|Mar 7, 2021

Video Surveillance and Tracking Methods参考文献 32被引用数 11

ひとこと要約

本稿では、ビデオベースの人物再識別（person re-identification）のためのグローバルガイドド相互学習（GRL）フレームワークを提案する。このフレームワークは、グローバルな文脈と局所的キューを併用することで、特徴の判別力学習を向上させる。グローバルガイドド相関推定を導入し、特徴を高相関成分と低相関成分に分離し、その後、順次的に顕著な特徴を強化し、微細な手がかりを蓄積する時間的相互学習を実施することで、3つのベンチマークで最先端の性能を達成した。

ABSTRACT

Video-based person re-identification (Re-ID) aims to automatically retrieve video sequences of the same person under non-overlapping cameras. To achieve this goal, it is the key to fully utilize abundant spatial and temporal cues in videos. Existing methods usually focus on the most conspicuous image regions, thus they may easily miss out fine-grained clues due to the person varieties in image sequences. To address above issues, in this paper, we propose a novel Global-guided Reciprocal Learning (GRL) framework for video-based person Re-ID. Specifically, we first propose a Global-guided Correlation Estimation (GCE) to generate feature correlation maps of local features and global features, which help to localize the high- and low-correlation regions for identifying the same person. After that, the discriminative features are disentangled into high-correlation features and low-correlation features under the guidance of the global representations. Moreover, a novel Temporal Reciprocal Learning (TRL) mechanism is designed to sequentially enhance the high-correlation semantic information and accumulate the low-correlation sub-critical clues. Extensive experiments are conducted on three public benchmarks. The experimental results indicate that our approach can achieve better performance than other state-of-the-art approaches. The code is released at https://github.com/flysnowtiger/GRL.

研究の動機と目的

• 顕著な領域に過度に依存することで、微細で重要な視覚的手がかり（sub-critical clues）を捉えることが難しい、従来のビデオRe-ID手法の限界を解消すること。
• 相関に基づく分離を用いて、グローバルな文脈と局所的な空間的・時間的キューを統合することで、特徴表現を向上させること。
• 双方向時間的学習により、顕著な特徴と途切れ目のある判別特徴の両方を強化すること。
• 統一的でグローバルにガイドされた学習フレームワークを通じて、公開のビデオRe-IDベンチマークで最先端の性能を達成すること。

提案手法

• 局所的なフレームレベル特徴とグローバルなビデオ表現の間の相関マップを計算するグローバルガイドド相関推定（GCE）モジュールを提案し、特徴の分離をガイドする。
• 相関マップを用いて、空間的特徴を高相関（顕著で連続的）成分と低相関（顕著でないが断続的）成分に分離する。
• 前向きおよび後向き処理を適用して、高相関特徴を強化し、フレーム間で低相関特徴を蓄積する時間的相互学習（TRL）モジュールを導入する。
• 高相関特徴に対して意味的強化戦略を採用し、空間的に顕著で時間的に整合する情報を強調する。
• 低相関特徴に対して時間的メモリ機構を用いて、時間経過とともに段階的に判別力のあるが断片的な視覚的手がかりを蓄積する。
• フレームレベルおよびビデオレベルの複数レベルのOIM損失を適用し、特徴の判別力を向上させるためにネットワークを共同最適化する。

実験結果

リサーチクエスチョン

• RQ1 グローバル表現が、局所的特徴を高相関および低相関成分に分離するのを効果的にガイドできるか？
• RQ2 双方向時間的学習は、ビデオシーケンスにおける顕著な特徴と微細な視覚的手がかりの両方のモデリングを向上させることができるか？
• RQ3 相関に基づく特徴分離と相互時間的学習の統合が、標準ベンチマークで優れた性能を達成できるか？
• RQ4 ビデオシーケンスの長さが、提案されたGRLフレームワークの性能にどのように影響するか？

主な発見

• 提案されたGRLフレームワークは、3つの公開ベンチマークで最先端の性能を達成し、MARSデータセットではmAPが84.8%、Rank-1精度が91.0%を達成した。
• 双方向時間的学習は単方向学習を上回り、前向きおよび後向き処理が併用されることで、耐障害性と特徴の判別力が向上することが示された。
• シーケンス長さをT=8まで延長することで性能が向上するが、それ以上になると学習効果が低下するため、特徴学習に最適なシーケンス長さがあることが示された。
• 複数レベルのOIM損失（フレームレベルおよびビデオレベル）を用いることで、単一レベルの監視に比べてmAPが1.3%向上し、階層的最適化の有効性が確認された。
• 可視化結果から、高相関マップは主な身体部位（例：上半身）を強調しているのに対し、蓄積された低相関特徴は、バッグや靴といった断続的だが意味のある手がかりを捉えていることが確認された。
• 本手法は、時間的に整合する顕著な特徴と、空間的に断片的で微細な手がかりの両方を効果的に捉えており、二重パス学習戦略の有効性が裏付けられた。