[論文レビュー] Harmonious Attention Network for Person Re-Identification

Wei Li, Xiatian Zhu+1 more|arXiv (Cornell University)|Feb 22, 2018

Video Surveillance and Tracking Methods参考文献 25被引用数 188

ひとこと要約

HA-CNN は、軽量な CNN 内でソフトピクセル注意とハード区域注意を共同学習することにより、 bounding boxes のミスアライメントを含む様々な状況下での人物再識別を改善し、三つの大規模ベンチマークで最先端を上回る。

ABSTRACT

Existing person re-identification (re-id) methods either assume the availability of well-aligned person bounding box images as model input or rely on constrained attention selection mechanisms to calibrate misaligned images. They are therefore sub-optimal for re-id matching in arbitrarily aligned person images potentially with large human pose variations and unconstrained auto-detection errors. In this work, we show the advantages of jointly learning attention selection and feature representation in a Convolutional Neural Network (CNN) by maximising the complementary information of different levels of visual attention subject to re-id discriminative learning constraints. Specifically, we formulate a novel Harmonious Attention CNN (HA-CNN) model for joint learning of soft pixel attention and hard regional attention along with simultaneous optimisation of feature representations, dedicated to optimise person re-id in uncontrolled (misaligned) images. Extensive comparative evaluations validate the superiority of this new HA-CNN model for person re-id over a wide variety of state-of-the-art methods on three large-scale benchmarks including CUHK03, Market-1501, and DukeMTMC-ReID.

研究の動機と目的

• 自動検出された境界ボックスから生じる制約のないミスアライメントや背景雑音の下で、頑健な人物再識別を動機づける。
• 再識別識別学習と共に、ソフトピクセル、ソフトチャネル、ハードレジオンの多層アテンションを共同学習する軽量CNNを提案する。
• アテンションモジュールと特徴表現間の補完情報を最大化するためのクロスアテンション相互作用を導入する。
• ソフトとハードのアテンションを共同学習することで、コンパクトなモデルでより優れた再識別性能を実現できることを示す。

提案手法

• ソフト空間的、ソフトチャネル、ハード地域の注意を組み合わせた Harmonious Attention (HA) モジュールを導入する。
• パラメータを削減するため、グローバルブランチと複数のローカルストリームを共有するマルチブランチ HA-CNN を用いる。
• ソフト空間注意とソフトチャネル注意は A^l = S^l × C^l に分解され、S^l は空間注意マップ、C^l はチャネル注意マップで、軽量なサブネットワークを介して計算される。
• ハードレジオン注意は小さな変換マトリクスを介して潜在的に識別性の高い領域を特定し、それらの領域をローカルストリームへ入力する。
• レベル内およびレベル間アーキテクチャ: 各レベルでハードおよびソフト注意を学習し、CAIL（Cross-Attention Interaction Learning）によりブランチ間の局所・全体特徴を豊かにする。
• クロスアテンション相互作用は局所特徴にグローバル特徴を加える: X̃_L^{(l,k)} = X_L^{(l,k)} + X_G^{(l,k)} 再識別制約の下で識別性を高める。
• 結合訓練はグローバルおよびローカルブランチの両方に対して同一体分類損失を用い、大規模なデータ拡張や事前学習を必要とせずエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ミスアライメントの下で性能を向上させるために、ソフトピクセル、ソフトチャネル、ハードリージョンという多層アテンションを単一の再識別モデル内で共同学習するにはどうすればよいか。
• RQ2 グローバルとローカルの特徴ブランチ間のクロスアテンション相互作用は、アテンション機構と特徴表現の調和を高めるか。
• RQ3 軽量な HA-CNN がモデルサイズと訓練の複雑さを削減しつつ最先端の再識別性能を達成できるか。

主な発見

• HA-CNN は Market-1501、DukeMTMC-ReID、CUHK03 において、幅広い最先端手法と比較して優れた Rank-1 および mAP を達成。
• Market-1501 (Single-Query) において、HA-CNN は 91.2% R1 および 75.7% mAP、Multi-Query では 93.8% R1 および 82.8% mAP を達成。
• DukeMTMC-ReID では 80.5% R1 および 63.8% mAP。
• CUHK03 (Detected, 767/700 split) において、HA-CNN は 41.7% mAP と 41.7% R1 を達成; 比較手法中での報告最高は、ラベル付きで 44.4% R1, 41.0% mAP、検出済みで 41.7% R1, 38.6% mAP である（報告値のとおり）。