[論文レビュー] Mixed High-Order Attention Network for Person Re-Identification

Binghui Chen, Weihong Deng+1 more|arXiv (Cornell University)|Aug 16, 2019

Video Surveillance and Tracking Methods参考文献 59被引用数 40

ひとこと要約

高次注意（HOA）をReIDに導入し、順序崩壊を防ぐ敵対的正則化を用いた複数のHOAモジュールを持つ混合高次注意ネットワーク（MHN）を提案。3つの大規模データセットで最先端の結果を達成。

ABSTRACT

Attention has become more attractive in person reidentification (ReID) as it is capable of biasing the allocation of available resources towards the most informative parts of an input signal. However, state-of-the-art works concentrate only on coarse or first-order attention design, e.g. spatial and channels attention, while rarely exploring higher-order attention mechanism. We take a step towards addressing this problem. In this paper, we first propose the High-Order Attention (HOA) module to model and utilize the complex and high-order statistics information in attention mechanism, so as to capture the subtle differences among pedestrians and to produce the discriminative attention proposals. Then, rethinking person ReID as a zero-shot learning problem, we propose the Mixed High-Order Attention Network (MHN) to further enhance the discrimination and richness of attention knowledge in an explicit manner. Extensive experiments have been conducted to validate the superiority of our MHN for person ReID over a wide variety of state-of-the-art methods on three large-scale datasets, including Market-1501, DukeMTMC-ReID and CUHK03-NP. Code is available at http://www.bhchen.cn/.

研究の動機と目的

• 人物再識別における標準的な空間注意およびチャネル注意を超える、より豊かな注意機構を動機づける。
• 畳み込み活性化の高次統計をモデリングし、歩行者間の微妙な部位間関係を捉える。
• 多様で細部を保持する注意知識を促進することにより、ReIDにおけるゼロショット学習の課題に対処する。
• IDE、PCBなどの一般的なバックボーンと統合可能なモデル非依存のMHNフレームワークを提案する。

提案手法

• ハイオーダーアテンション（HOA）モジュールを提案し、局所記述子の高次統計からアテンションマップを計算する。パラメータを管理するためにテンソル分解を用いた多項式予測器を使用。
• 多次元階数（R）予測子を介してベクトル様のアテンションマップ A(x) を推定し、空間位置ごとに共有された1x1畳み込みとして実装する。
• アテンションの非線形性の2つのバリエーション（式(8)対式(9)）を導入し、その有効性を比較する。
• 異なる次数の複数のHOAモジュールを混合してMHNを構築し、アテンション知識を豊かにする。
• HOAモジュール間の次数多様性を敵対的制約で正則化し、高次モジュールが低次モジュールに崩壊しないようにする。
• 識別損失と敵対的多様性損失の組み合わせ（L_ide + λ max-min L_adv）でMHNを最適化する。

実験結果

リサーチクエスチョン

• RQ1 高次統計はReIDにおける従来の一次的な空間/チャネル注意と比べてどんな利点をもたらすか？
• RQ2 異なる次数を持つ複数のHOAモジュールはゼロショット識別の分割に対する頑健性を高められるか？
• RQ3 HOA次数の多様性を敵対的に強制することは順序崩壊を防ぎ、未知の識別を改善するか？
• RQ4 標準のReIDベンチマークでIDEとPCBバックボーンと統合した場合、MHNはどう機能するか？

主な発見

データセット	設定	R-1	R-5	R-10	mAP
Market-1501	MHN-6 (PCB)	95.1	98.1	98.9	85.0
DukeMTMC-ReID	MHN-6 (PCB)	89.1	94.6	96.2	77.2
CUHK03-NP	Labeled (MHN-6 PCB)	77.2	—	—	65.4
CUHK03-NP	Detected (MHN-6 PCB)	71.7	—	—	65.4

• 六つのHOAモジュールを備えたMHN（MHN-6）は、Market-1501、DukeMTMC-ReID、CUHK03-NPのベースラインでIDEとPCBを大幅に上回る。
• Market-1501で、MHN-6 (PCB) は R-1 95.1、R-5 98.1、R-10 98.9、mAP 85.0 を達成し、既存手法を上回る。
• DukeMTMC-ReIDで、MHN-6 (PCB) は R-1 89.1、R-5 94.6、R-10 96.2、mAP 77.2 を達成し、ベースラインと多くの競合を上回る。
• CUHK03-NPで、MHN-6 (PCB) は分割により R-1 77.2 および mAP 65.0–65.4 に到達（ラベル付き: R-1 77.2、検出: R-1 71.7、mAP 約65.4）、複数の既存手法を上回る。
• 敵対的多様性制約（L_adv）は順序崩壊を効果的に防ぎ、IDEおよびPCBの両方の変種の性能を向上させる。
• 非線形注意の変種（式(9)）は、線形の代替（式(8)）と同等以上の結果を提供する。