[論文レビュー] Deep Miner: A Deep and Multi-branch Network which Mines Rich and Diverse Features for Person Re-identification

Abdallah Benzine, Mohamed El Amine Seddik+1 more|arXiv (Cornell University)|Feb 18, 2021

Video Surveillance and Tracking Methods参考文献 36被引用数 4

ひとこと要約

Deep Minerは、バックボーンが無視する特徴を回復する入力消去ブランチ（IEブランチ）を含む、3つの補完的ブランチ（グローバルブランチ、ローカルパーツベースブランチ、IEブランチ）を持つマルチブランチCNNアーキテクチャを提案する。特徴マップの高活性化領域を単純な抑制操作で消去することで、IEブランチは新たな識別的特徴を学習するよう強制され、MSMT17でSOTAを6.5%上回るmAP向上を達成する。

ABSTRACT

Most recent person re-identification approaches are based on the use of deep convolutional neural networks (CNNs). These networks, although effective in multiple tasks such as classification or object detection, tend to focus on the most discriminative part of an object rather than retrieving all its relevant features. This behavior penalizes the performance of a CNN for the re-identification task, since it should identify diverse and fine grained features. It is then essential to make the network learn a wide variety of finer characteristics in order to make the re-identification process of people effective and robust to finer changes. In this article, we introduce Deep Miner, a method that allows CNNs to "mine" richer and more diverse features about people for their re-identification. Deep Miner is specifically composed of three types of branches: a Global branch (G-branch), a Local branch (L-branch) and an Input-Erased branch (IE-branch). G-branch corresponds to the initial backbone which predicts global characteristics, while L-branch retrieves part level resolution features. The IE-branch for its part, receives partially suppressed feature maps as input thereby allowing the network to "mine" new features (those ignored by G-branch) as output. For this special purpose, a dedicated suppression procedure for identifying and removing features within a given CNN is introduced. This suppression procedure has the major benefit of being simple, while it produces a model that significantly outperforms state-of-the-art (SOTA) re-identification methods. Specifically, we conduct experiments on four standard person re-identification benchmarks and witness an absolute performance gain up to 6.5% mAP compared to SOTA.

研究の動機と目的

• CNNが人物再識別において、最も識別的な特徴にのみ注目する傾向があるという限界を是正すること。
• ポーズ、照明、視点の変化といった外観変動に対して、より広範な特徴を学習することでモデルの耐性を高めること。
• モデルの複雑さを増さず、複雑なアーキテクチャを必要としない、単純だが効果的な特徴多様化手法を開発すること。
• 入力消去ブランチによる特徴マイニングが、標準的なベンチマーク、特に低データ環境下で顕著な性能向上をもたらすことを実証すること。

提案手法

• モデルは3つのブランチを統合する：元のCNNバックボーンを用いて標準的なグローバル特徴を抽出するグローバルブランチ（Gブランチ）。
• 均一な分割を適用してパーツレベルの特徴を抽出するローカルブランチ（Lブランチ）、細分化された表現学習を強化する。
• 高活性化領域を単純な抑制手順で抑制した特徴マップを受け取る入力消去ブランチ（IEブランチ）、バックボーンが無視する特徴を回復する。
• 抑制操作は活性化の大きさに基づいて特徴を選択的に削除し、IEブランチが補完的特徴をマイニングできる新たな入力空間を生成する。
• GブランチおよびIEブランチにアテンションモジュールを適用し、特徴表現を向上させ、背景ノイズを低減する。
• すべてのブランチからの最終特徴を統合して再識別に使用し、より豊富で多様な人物埋め込みを実現する。

実験結果

リサーチクエスチョン

• RQ1 入力消去ブランチを含むマルチブランチCNNアーキテクチャは、人物再識別における特徴多様性と表現の豊かさを顕著に向上させることができるか？
• RQ2 IEブランチにおける抑制に基づく特徴マイニング戦略は、標準的なグローバル特徴やパーツベース特徴学習よりも優れた性能をもたらすか？
• RQ3 異なるデータ複雑性を持つ多様なベンチマークにおいて、提案手法はmAPおよびRank-1精度の点でSOTA手法と比較してどのように差をつけるか？
• RQ4 特に、サンプル数が限られるCUHK03のような低データ環境下でも、本手法は効果的に一般化可能か？
• RQ5 抑制操作の単純さは、複雑なアーキテクチャ変更を要せず、強力な性能を達成可能であるか？

主な発見

• Deep Minerは、人物再識別で最大かつ最も複雑なベンチマークであるMSMT17で、SOTA手法を6.5%の絶対的なmAP向上で上回った。
• DukeMTMC-ReIDでは、ラベル付きスプリットで84.7% mAP、検出済みスプリットで81.4% mAPを達成し、SCSNやPyramidを含むSOTA手法を上回った。
• CUHK03では、ラベル付きスプリットでPLR OSNetを4.2% mAP上回り、検出済みスプリットでは3.2%上回った。これは、低データ条件下でも優れた性能を示している。
• ResNet-50と単純な4ストリップローカルブランチのみを用いても、ピラミッド特徴セットを用いるPyramid やMGNといったより複雑なモデルを上回った。
• Market1501、DukeMTMC-ReID、CUHK03、MSMT17の4つの標準ベンチマークすべてでSOTAのmAPを達成し、すべてのデータセットで一貫した向上を示した。
• 特徴可視化により、IEブランチがグローバルブランチが見逃す傾向のある、衣類の模様、バッグ、アクセサリーといった新しい関連特徴を発見していることが確認された。