[論文レビュー] Self Attention Grid for Person Re-Identification

Jean-Paul Ainam, Ke Qin+1 more|arXiv (Cornell University)|Sep 23, 2018

Video Surveillance and Tracking Methods参考文献 28被引用数 3

ひとこと要約

本論文では、高解像度特徴マップ内の複数の特徴的領域に注目することで特徴学習を向上させる、人物再識別向けの新しい自己注意メカニズムであるSelf Attention Grid (SAG) を提案する。2本の並列ブランチ（高解像度特徴を処理するブランチと、最大プーリングとソフトマックスを用いてフィルタリング用の注意グリッドを学習するブランチ）を用いることで、3つのベンチマークデータセットにおいて精度が向上し、特に残差再ランク（RR）戦略を用いた場合、DukeMTMC-ReIDで81.05%のmAPを達成し、最先端の性能を実現した。

ABSTRACT

In this paper, we present an attention mechanism scheme to improve person re-identification task. Inspired by biology, we propose Self Attention Grid (SAG) to discover the most informative parts from a high-resolution image using its internal representation. In particular, given an input image, the proposed model is fed with two copies of the same image and consists of two branches. The upper branch processes the high-resolution image and learns high dimensional feature representation while the lower branch processes the low-resolution image and learn a filtering attention grid. We apply a max filter operation to non-overlapping sub-regions on the high feature representation before element-wise multiplied with the output of the second branch. The feature maps of the second branch are subsequently weighted to reflect the importance of each patch of the grid using a softmax operation. Our attention module helps the network learn the most discriminative visual features of multiple image regions and is specifically optimized to attend feature representation at different levels. Extensive experiments on three large-scale datasets show that our self-attention mechanism significantly improves the baseline model and outperforms various state-of-art models by a large margin.

研究の動機と目的

• 変動する照明条件、ポーズ、低解像度条件下における人物再識別の精度低減という課題に対処すること。
• ネットワークが単一の領域ではなく、複数の情報的な画像領域を同時に注目できるようにすることで、特徴の識別性を向上させること。
• 任意のCNNアーキテクチャと互換性がある、プラグアンドプレイ式で完全に微分可能な注意モジュールを設計すること。
• 二重ブランチの注意機構により、高レベルの識別的特徴と低レベルの空間的詳細の両方を保持すること。
• アーキテクチャの大規模な再設計なしに、大規模な人物再識別ベンチマークで最先端の性能を達成すること。

提案手法

• モデルは2本の並列ブランチを用いる：1本は高解像度特徴マップを処理し、もう1本は同じ入力の低解像度版から注意グリッドを学習する。
• 注意グリッドは、重複のない空間領域における最大プーリングを経て、その後ソフトマックス処理により注意重みを生成する。
• その後、高解像度特徴と注意グリッドを要素ごとに乗算することで、重要な領域を強調し、背景ノイズを抑制する。
• 注意機構は複数の深さレベル（D1 から D4）に適用され、複数レベルの特徴精錬を可能にする。
• 全モジュールは微分可能であり、標準的な最適化手法を用いてバックプロパゲーションによりエンドツーエンドで学習される。
• 訓練の安定化と特徴品質の向上を目的に、上位の残差ブロックに対してはL2正則化を部分的に適用する。

実験結果

リサーチクエスチョン

• RQ1 複数の重複しない画像領域に注目する自己注意メカニズムが、人物再識別精度を向上させることができるか？
• RQ2 高解像度特徴と学習された注意グリッドを組み合わせた二重ブランチアーキテクチャは、アーキテクチャの複雑さを増すことなく特徴の識別性を向上させることができるか？
• RQ3 提案されたSAGモジュールは、既存の注意メカニズムと比較して、データセット間での汎用性と性能に優れているか？
• RQ4 SAGモジュールをCNN内に最適に配置・設定することで、性能向上を最大限に引き出せるか？
• RQ5 SAGモジュールは、残差再ランクなどの後処理技術と効果的に組み合わせることで、さらに精度を向上させることができるか？

主な発見

• DukeMTMC-ReIDでは、SAGは79.94%のR1と60.88%のmAPを達成し、DCCを除き、ほとんどの最先端手法を上回った。
• 残差再ランク（SAG+RR）を適用した場合、R1が85.28%、mAPが81.05%に上昇し、ベースラインおよび多数の先行研究を大きく上回った。
• アブレーションスタディの結果、SAGは深層部においても良好に一般化することが確認され、特に高レベル特徴での性能向上が顕著であった。
• 注意グリッドの可視化結果から、SAGは顔、バックパック、衣類など識別的部位を効果的に強調し、背景領域を抑制していることが示された。
• 最初の3つの残差ブロックにのみL2正則化を適用した場合、精度が向上したが、第4ブロックに適用した場合、性能が低下した。これは、層ごとの感受性の違いを示している。
• SAGモジュールはモジュラーであり、アーキテクチャの変更なしに既存のCNNアーキテクチャに容易に統合可能であり、実用性の高さが裏付けられた。