[論文レビュー] Multi-Granularity Reference-Aided Attentive Feature Aggregation for Video-based Person Re-identification

Zhizheng Zhang, Cuiling Lan+2 more|arXiv (Cornell University)|Mar 27, 2020

Video Surveillance and Tracking Methods参考文献 42被引用数 13

ひとこと要約

本稿では、動画ベースの人物再識別を目的とした、マルチスケール参照支援型アテンション特徴集積モジュールであるMG-RAFAを提案する。本手法は、各スパatio-temporal特徴ノードと少数の代表的参照ノード（S-RFNs）の間の関係をモデル化することでグローバルアテンションを学習し、複数のスケールで階層的な意味を捉える。本手法は3つのベンチマークデータセットで最先端性能を達成し、Marsでは前人最高の5.1%、iLIDS-VIDでは2.3%のmAP向上を達成した。

ABSTRACT

Video-based person re-identification (reID) aims at matching the same person across video clips. It is a challenging task due to the existence of redundancy among frames, newly revealed appearance, occlusion, and motion blurs. In this paper, we propose an attentive feature aggregation module, namely Multi-Granularity Reference-aided Attentive Feature Aggregation (MG-RAFA), to delicately aggregate spatio-temporal features into a discriminative video-level feature representation. In order to determine the contribution/importance of a spatial-temporal feature node, we propose to learn the attention from a global view with convolutional operations. Specifically, we stack its relations, i.e., pairwise correlations with respect to a representative set of reference feature nodes (S-RFNs) that represents global video information, together with the feature itself to infer the attention. Moreover, to exploit the semantics of different levels, we propose to learn multi-granularity attentions based on the relations captured at different granularities. Extensive ablation studies demonstrate the effectiveness of our attentive feature aggregation module MG-RAFA. Our framework achieves the state-of-the-art performance on three benchmark datasets.

研究の動機と目的

• 動画ベースの人物再識別における冗長・遮蔽・運動歪みのあるフレームの課題に対処するため、より判別力のあるビデオレベル表現を学習すること。
• 局所的または逐次的なアテンション機構の制限を克服するため、包括的な視点からグローバルなスパatio-temporal関係をモデル化することで特徴集積を向上させること。
• 粗いスケールから細かいスケールまで、異なるスケールで階層的な意味を捉えることで、より強力で柔軟な特徴学習を実現すること。
• すべての特徴ではなく、少数の代表的特徴ノード（S-RFNs）を用いることで、計算コストを低減し、最適化の難易度を軽減すること。
• 効果的でスケーラブルなアテンションベースの特徴集積により、標準的な動画再識別ベンチマークで最先端の性能を達成すること。

提案手法

• 各特徴ノードと代表的参照特徴ノードの集合（S-RFNs）との関係に基づいてアテンション重みを計算するマルチグレイン・リファレンス支援型アテンション特徴集積（MG-RAFA）モジュールを提案する。
• 各特徴ノードとS-RFNs間のペアワイズ相関を積み重ね、ノード自身の特徴を組み合わせることでグローバルな視点を獲得し、畳み込み演算を用いてアテンション重みを推定する。
• 異なる空間スケール（例：16×8、8×4、4×2、2×1解像度）で関係を学習することでマルチグレインアテンションを導入し、粗いスケールから細かいスケールの領域まで意味を捉える。
• 冗長性を圧縮し、グローバル関係モデルの簡素化を図るため、少数だが代表的なS-RFNセットを構築し、計算コストを低減しながら構造的情報を保持する。
• 学習可能なアテンション機構を採用し、不要な特徴（例：遮蔽や冗長領域）を適応的に抑制し、判別力のある特徴を強化する。
• MG-RAFAモジュールを動画再識別パイプラインに適用し、スパatio-temporal平均プーリングを適用して1つのビデオレベル埋め込みを生成する。

実験結果

リサーチクエスチョン

• RQ1 動画再識別において、冗長性を低減し特徴の判別力を向上させるために、グローバルなスパatio-temporal依存関係を効果的にモデル化する方法は何か？
• RQ2 代表的特徴ノードの集合（S-RFNs）は、計算コストを低減しつつも、グローバルな構造的パターンを効果的に捉えることができるか？
• RQ3 異なる空間スケールで階層的な意味を捉えるマルチグレインアテンション学習は、性能向上に寄与するか？
• RQ4 MG-RAFAは、長距離の文脈をモデル化する点で、非局所ブロックや他のアテンション機構と比較してどのように差をつけるか？
• RQ5 提案されたマルチグレイン設計は、MG-RAFA以外のアテンション機構に対しても一般化可能か？

主な発見

• MG-RAFAは、Mars、iLIDS-VID、PRID2011の3つの主要な動画再識別ベンチマークで最先端の性能を達成した。
• Marsデータセットでは、前回の最先端手法STAに比べてmAPが5.1%向上し、88.6%のmAPを達成した。
• iLIDS-VIDでは、Rank-1精度が98.0%に達し、2番目に良い手法を2.3%上回った。
• PRID2011では、mAPが99.7%、Rank-1が95.9%を達成し、2番目に良い手法をRank-1で0.4%上回った。
• RGA-SC、SE、CBAMにマルチグレイン設計を適用した場合、それぞれmAPが1.5%、1.4%、1.7%向上した。
• アブレーションスタディの結果、S-RFNsとマルチグレイン設計の両方が性能向上に顕著に寄与しており、非局所ブロックよりもmAPで2.4%高い性能を達成した。