[論文レビュー] Video-based Person Re-identification Using Spatial-Temporal Attention Networks

Shivansh Rao, Tanzila Rahman+2 more|arXiv (Cornell University)|Oct 26, 2018

Video Surveillance and Tracking Methods参考文献 4被引用数 7

ひとこと要約

この論文では、フレーム特徴量から直接フレームレベルの注目スコアを計算する空間時系列アテンションネットワークを提案し、並列処理を可能にするとともに、性能を向上させる。この手法は、iLIDS-VIDとPRID-2011でそれぞれ4%および11%のランク-1精度向上を達成し、SOTAの結果を獲得した。その背景には、マルチホップ空間アテンションと効率的な時系列集約の活用がある。

ABSTRACT

We consider the problem of video-based person re-identification. The goal is to identify a person from videos captured under different cameras. In this paper, we propose an efficient spatial-temporal attention based model for person re-identification from videos. Our method generates an attention score for each frame based on frame-level features. The attention scores of all frames in a video are used to produce a weighted feature vector for the input video. Unlike most existing deep learning methods that use global representation, our approach focuses on attention scores. Extensive experiments on two benchmark datasets demonstrate that our method achieves the state-of-the-art performance. This is a technical report.

研究の動機と目的

• 異なるカメラアングル、照明条件、遮蔽状況下での動画ベースの人物再識別における課題に対処すること。
• 注目メカニズムを用いて情報量の多いフレームに注目することで、特徴表現を向上させること。
• 逐次処理を回避し、GPU並列処理を可能にする計算効率の良い注目メカニズムを設計すること。
• 複数回の空間アテンションホップがモデル性能に与える影響を調査すること。
• ベンチマーク動画再識別データセットでSOTAの性能を達成すること。

提案手法

• 各フレームの視覚的特徴ベクトルから直接注目スコアを計算し、再帰的ネットワークを回避することで並列処理を可能にする。
• 各フレームに対してマルチホップ空間アテンション機構を適用し、異なるボディパーツに注目することで、空間的特徴表現を向上させる。
• 時系列アテンションは、学習された注目重みを用いてフレームレベル特徴を集約することで、動画レベルの表現を形成する。
• 最終的な動画表現は、注目スコアによって決定される重み付き和としてのフレーム特徴の重み付き和である。
• 三重損失を用いて学習することで、正例ペア間の距離を最小化し、負例ペア間の距離を最大化する。
• 標準的なCMMランク指標を用いて、iLIDS-VIDおよびPRID-2011でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 フレーム特徴量に基づく直接的かつ非再帰的な注目メカニズムは、RNNベースの注目メカニズムを上回る性能を発揮するか？
• RQ2 空間アテンションホップの数がモデル性能に与える影響は何か？
• RQ3 並列処理可能な注目メカニズムは、逐次的RNNベースの手法よりも優れた性能を達成できるか？
• RQ4 提案された空間時系列アテンションメカニズムは、ノイズや遮蔽のあるフレームを効果的に抑制できるか？
• RQ5 性能と複雑さのバランスを最適化するには、最適なアテンションレイヤー数は何か？

主な発見

• 提案手法は、iLIDS-VIDでランク-1精度66%を達成し、従来のSOTA手法を約4%上回った。
• PRID-2011では、ランク-1精度が88%に達し、従来のSOTA手法を11%上回った。
• 3つの空間アテンションレイヤーを備えたモデルが最良の性能を示し、レイヤー数が3つを超えると性能が低下した。
• 空間アテンションを除去（0レイヤー）した場合、iLIDS-VIDではランク-1精度が60%に、PRID-2011では80%に急激に低下した。
• アブレーションスタディの結果、フレーム特徴量から直接注目スコアを計算するアプローチが、RNNベースの注目メカニズムよりも効果的であることが確認された。
• 定性的な結果から、正例マッチが一貫して検索リストの上位にランクインしていることが示され、強固な特徴学習が実現していることが示唆された。