[論文レビュー] Spatio-Temporal Representation Factorization for Video-based Person Re-Identification

Abhishek Aich, Meng Zheng+4 more|arXiv (Cornell University)|Jul 25, 2021

Video Surveillance and Tracking Methods参考文献 56被引用数 5

ひとこと要約

本論文では、3次元畳み込みニューラルネットワーク（3D-CNN）向けの軽量で即座に統合可能なモジュールである空間時間的表現因子分解（STRF）を提案する。STRFは、時間的（静的／動的）および空間的（粗い／細かい）特徴を因子化することで、動画ベースの人物再識別性能を向上させる。STRFは判別的表現学習を強化し、単位あたり約0.15Mの追加パラメータで、MARSで86.1%、DukeMTMCで96.4%、iLIDS-VIDで89.3%という、新たなSOTAのmAPスコアを達成した。

ABSTRACT

Despite much recent progress in video-based person re-identification (re-ID), the current state-of-the-art still suffers from common real-world challenges such as appearance similarity among various people, occlusions, and frame misalignment. To alleviate these problems, we propose Spatio-Temporal Representation Factorization (STRF), a flexible new computational unit that can be used in conjunction with most existing 3D convolutional neural network architectures for re-ID. The key innovations of STRF over prior work include explicit pathways for learning discriminative temporal and spatial features, with each component further factorized to capture complementary person-specific appearance and motion information. Specifically, temporal factorization comprises two branches, one each for static features (e.g., the color of clothes) that do not change much over time, and dynamic features (e.g., walking patterns) that change over time. Further, spatial factorization also comprises two branches to learn both global (coarse segments) as well as local (finer segments) appearance features, with the local features particularly useful in cases of occlusion or spatial misalignment. These two factorization operations taken together result in a modular architecture for our parameter-wise light STRF unit that can be plugged in between any two 3D convolutional layers, resulting in an end-to-end learning framework. We empirically show that STRF improves performance of various existing baseline architectures while demonstrating new state-of-the-art results using standard person re-ID evaluation protocols on three benchmarks.

研究の動機と目的

• 外見の類似性、隠蔽、フレームの不一致といった、動画ベースの人物再識別における継続的な課題に対処すること。
• 時間的および空間的ダイナミクスの補完的性質を明示的にモデル化できない既存の3D-CNNの限界を克服すること。
• アーキテクチャの再設計を伴わずに、任意の3D-CNNバックボーンに統合可能な柔軟でパラメータ効率の良いモジュールを設計すること。
• 時間軸における静的（外見）および動的（運動）成分、空間軸における粗いおよび細かい特徴を因子化することで、判別的特徴学習を向上させること。
• 計算効率を維持したまま、複数のベンチマークで最先端の性能を達成すること。

提案手法

• STRFは3D畳み込み層の間に挿入されるプラグインモジュールであり、単位あたり約0.15Mの学習可能なパラメータを追加する。
• 時間的因子化モジュールは、時間サンプリング戦略を用いて特徴を静的（低周波数）および動的（高周波数）成分に分割する。
• 空間的因子化モジュールは、空間サンプリングと特徴抽出を用いて、粗い（グローバル）および細かい（ローカル）外見特徴を分離する。
• 各因子化ブランチは、それぞれの次元に沿った判別的表現を学習する専用の3D畳み込み層を用いる。
• モジュールはエンドツーエンドで学習可能であり、3D-CNNの複数の段階に適用可能で、特に中レベルの層（段階2および3）で最良の性能が得られた。
• 4つの因子化ブランチ（時間的静的、時間的動的、空間的粗い、空間的細かい）の出力を統合するための特徴集約モジュール（FAM）が用いられる。

実験結果

リサーチクエスチョン

• RQ1 時間的および空間的特徴の明示的因子化が、動画再識別における判別的表現を向上させるか？
• RQ2 時間的静的（外見）および動的（運動）特徴を分離することで、隠蔽や不一致下でも一般化性能が向上するか？
• RQ3 粗いおよび細かい空間的特徴を併用することで、部分的隠蔽や空間的不一致に対してより頑健になるか？
• RQ4 3D-CNNアーキテクチャ内のSTRFの配置が性能に与える影響は何か？
• RQ5 軽量でモジュラーなモジュールが、アーキテクチャの再設計なしに最先端の結果を達成できるか？

主な発見

• STRFはMARSベンチマークで86.1%という新たなSOTAのmAPを達成し、AP3D（85.6%）やM3D（79.46%）を上回った。
• DukeMTMCでは96.4%のmAPを達成し、以前のSOTA手法TACAN（95.40% mAP）を上回った。
• iLIDS-VIDでは89.3%のmAPを達成し、TACANの88.9%という過去最高を上回った。
• アブレーションスタディの結果、4つの因子化コンponents（時間的静的、時間的動的、空間的粗い、空間的細かい）が独立して寄与しており、完全なSTRFモジュールではMARSで86.1%のmAPを達成した。
• ネットワークの最初の段階にSTRFを適用すると性能が低下したため、低レベル特徴には十分な意味的コンテンツがなく、効果的な因子化ができないことが示された。
• 比較対象のアーキテクチャの中でSTRFが最もパラメータ効率が高く、I3Dに追加した場合の総パラメータ数の増加は約1.73%にとどまり、最大7500万個もの追加パラメータを持つモデルを上回る性能を発揮した。