[論文レビュー] FPB: Feature Pyramid Branch for Person Re-Identification

Suofei Zhang, Zirui Yin+4 more|arXiv (Cornell University)|Aug 4, 2021

Video Surveillance and Tracking Methods参考文献 64被引用数 9

ひとこと要約

本稿では、双方向ピラミッド構造を用いてマルチスケール特徴を融合することで特徴表現を向上させる、軽量な特徴ピラミッドブランチ（FPB）を提案する。アテンションモジュールとクロス直交正則化を統合することで、150万パラメータ未満の追加で性能を向上させ、モデルの複雑さを抑えつつ、標準ベンチマークで最先端の手法を上回る性能を達成した。

ABSTRACT

High performance person Re-Identification (Re-ID) requires the model to focus on both global silhouette and local details of pedestrian. To extract such more representative features, an effective way is to exploit deep models with multiple branches. However, most multi-branch based methods implemented by duplication of part backbone structure normally lead to severe increase of computational cost. In this paper, we propose a lightweight Feature Pyramid Branch (FPB) to extract features from different layers of networks and aggregate them in a bidirectional pyramid structure. Cooperated by attention modules and our proposed cross orthogonality regularization, FPB significantly prompts the performance of backbone network by only introducing less than 1.5M extra parameters. Extensive experimental results on standard benchmark datasets demonstrate that our proposed FPB based model outperforms state-of-the-art methods with obvious margin as well as much less model complexity. FPB borrows the idea of the Feature Pyramid Network (FPN) from prevailing object detection methods. To our best knowledge, it is the first successful application of similar structure in person Re-ID tasks, which empirically proves that pyramid network as affiliated branch could be a potential structure in related feature embedding models. The source code is publicly available at https://github.com/anocodetest1/FPB.git.

研究の動機と目的

• 人物再識別モデルにおける高い性能と低い計算コストのバランスを図ること。
• モデルの複雑さを増さずに、効果的なマルチスケール特徴抽出と統合を実現すること。
• 物体検出から派生した特徴ピラミッドネットワーク（FPN）構造を人物Re-IDに適応可能かどうかを検討すること。
• アテンション機構と正則化を用いて、特徴の多様性と判別性を向上させること。
• 大規模バックボーンやアンサンブル手法に依存せずに、パラメータの大幅な増加なしに性能向上を達成できることを示すこと。

提案手法

• FPBは、バックボーンネットワークに接続される非対称的で軽量なブランチとして設計され、マルチスケール特徴抽出を可能にする。
• バックボーンの異なる段階からの特徴を統合するために、双方向ピラミッド構造を採用する。
• 自己アテンションモジュールを適用して、チャネル間相関を強化し、特徴マップ内の判別性の高い特徴を強調する。
• ハイレベルとローレベルの特徴ブランチ間の冗長性を低減するために、クロス直交正則化（COR）を導入する。
• 最終的な埋め込みは、グローバルバックボーンとFPBからの特徴を連結した後、エンド・トゥ・エンド学習のためのトリプレット損失を適用することで形成される。
• 標準的なResNetバックボーンと互換性があり、既存のRe-IDフレームワークに簡単に統合可能である。

実験結果

リサーチクエスチョン

• RQ1 物体検出から派生したピラミッドベースの特徴統合構造を、人物再識別に効果的に適応できるか？
• RQ2 軽量でマルチスケールの特徴ブランチを導入することで、パラメータの大幅な増加なしに性能向上が達成できるか？
• RQ3 アテンション機構と直交正則化が、Re-IDにおける特徴の多様性とモデルの精度にどの程度寄与するか？
• RQ4 既存のマルチブランチ型やパーツベースのアーキテクチャと比較して、提案されたFPBは精度と効率の面で優れているか？
• RQ5 より多くのパラメータを持つ大規模モデルを上回れる、コンactで非対称的なマルチブランチ設計は可能か？

主な発見

• FPBを用いたモデルは、すべての標準的な人物Re-IDベンチマークで最先端の性能を達成しており、追加パラメータは150万未満である。
• Market-1501、DukeMTMC-reID、CUHK03の各データセットにおいて、同程度のパラメータを持つモデルと比較してmAPが5%以上向上した。
• Pyramid、ABD、LocalCNNなど5000万パラメータ以上の手法でさえも、はるかに少ないパラメータで性能を上回った。
• 除去実験の結果、アテンションとクロス直交正則化の両方が性能向上に寄与しており、CORがブランチ間の特徴冗長性を低減することが確認された。
• 可視化結果から、FPBは局所的詳細に注目するのに対し、バックボーンはグローバルなボディパーツに注目しており、相補的な特徴学習が実現していることが示された。
• パーツベースの特徴ブランチに3つのパーツを用いる最適な設定が、より多くのパーツを用いた設定よりも優れており、グローバルブランチと組み合わせることで、少ないパーツ数で十分な性能が得られることを示した。