[論文レビュー] Second-order Non-local Attention Networks for Person Re-identification

Bryan Bryan, Xia+3 more|arXiv (Cornell University)|Aug 31, 2019

Video Surveillance and Tracking Methods参考文献 48被引用数 106

ひとこと要約

長距離特徴マップの相関をモデル化する Second-order Non-local Attention (SONA) モジュールを導入し、一般化された DropBlock と組み合わせて、Market1501、CUHK03、DukeMTMC-reID で最先端の結果を達成する。

ABSTRACT

Recent efforts have shown promising results for person re-identification by designing part-based architectures to allow a neural network to learn discriminative representations from semantically coherent parts. Some efforts use soft attention to reallocate distant outliers to their most similar parts, while others adjust part granularity to incorporate more distant positions for learning the relationships. Others seek to generalize part-based methods by introducing a dropout mechanism on consecutive regions of the feature map to enhance distant region relationships. However, only few prior efforts model the distant or non-local positions of the feature map directly for the person re-ID task. In this paper, we propose a novel attention mechanism to directly model long-range relationships via second-order feature statistics. When combined with a generalized DropBlock module, our method performs equally to or better than state-of-the-art results for mainstream person re-identification datasets, including Market1501, CUHK03, and DukeMTMC-reID.

研究の動機と目的

• rigidなパーツ分割への過度な依存なしに、堅牢な person re-ID を目指す。
• 長距離の特徴マップ相関を捉えるための Second-order Non-local Attention 機構を提案する。
• 遠距離の関係を学習させるよう一般化された DropBlock を導入し、正則化を強化する。
• アテンションのためのより広い空間的視野を提供するよう、バックボーンを膨張畳み込みで修正する。
• 主要な re-ID データセットで最先端の性能を示し、構成要素の寄与を分析する。

提案手法

• BFE に触発されたグローバルブランチとローカルブランチを持つバックボーン分岐アーキテクチャを提示する。
• 初期の ResNet ステージの後に Second-order Non-local Attention (SONA) モジュールを注入して非局所相関を捉える。
• 縮小次元埋め込み（theta と g）から計算された共分散ベースのアテンションマップを用いてアテンションを形成する。
• 可変ブロックサイズを持つ DropBlock+ を適用して、多様な空間的関係の学習を促す。
• 特定の ResNet ステージを膨張させて特徴マップを拡大し、アテンションのためのより広い空間的文脈を提供する。
• それぞれのブランチでバッチハードトリプレット損失とラベルスムージドクロスエントロピー損失で訓練する。

実験結果

リサーチクエスチョン

• RQ1 2次統計量に基づく非局所アテンションは、長距離の横断的関係を効果的にモデル化して person re-ID に有効か？
• RQ2 可変サイズのブロックへ DropBlock を一般化し、バックボーンのステージを膨張させることで、データセット間の性能と堅牢性が向上するか？
• RQ3 効率性を損なうことなく、バックボーン内のどこに SONA を配置するのが最適な効果を得られるか？
• RQ4 Market1501、CUHK03、DukeMTMC-reID に対して、SONA-Net は最先端のパートベースおよび非パートベースの手法とどう比較されるか？

主な発見

手法	mAP	Rank-1	Rank-5	Rank-10
SONA 2-Net μ	88.67	95.68	98.42	99.03
SONA 3-Net μ	88.63	95.53	98.48	99.15
SONA 2+3-Net μ	88.83	95.58	98.50	99.18

• SONA-Net は Market1501、CUHK03、DukeMTMC-reID の各データセットにおいて、最先端手法と比較して競争力があり、しばしば優れた結果を示す。
• アブレーション実験では、SONA の追加は一貫したゲインを提供し、DropBlock+ と組み合わせると最良の性能を得られる。
• 初期段階の後に SONA を配置するのが効果的で、後期段階の後に配置すると性能が低下する。
• 推論のオーバーヘッドは微小（SONAあり 8.44 ms 対 なし 7.89 ms）。
• SONA 変種（2-Net、3-Net、2+3-Net）を用いたモデルは、データセット全体で強く安定した改善を示す。