[論文レビュー] Black Re-ID: A Head-shoulder Descriptor for the Challenging Problem of Person Re-Identification

Boqiang Xu, Lingxiao He+4 more|arXiv (Cornell University)|Aug 19, 2020

Video Surveillance and Tracking Methods参考文献 42被引用数 8

ひとこと要約

本論文は、黒い服や低照度条件下で衣服特徴が見えにくくなる状況において、顔、髪、眼鏡などの特徴を活用するためのヘッドショルダー特徴を活用する、ヘッドショルダー適応的アテンションネットワーク（HAA）を提案する。この手法は、グローバル特徴とヘッドショルダー特徴の重みを動的に調整するアダプティブアテンションモジュールを用い、Black-reIDおよび標準的なRe-IDベンチマークで最先端の性能を達成した。特に、新規に作成されたBlack-reIDデータセットにおいて、mAPが4.7%向上した。

ABSTRACT

Person re-identification (Re-ID) aims at retrieving an input person image from a set of images captured by multiple cameras. Although recent Re-ID methods have made great success, most of them extract features in terms of the attributes of clothing (e.g., color, texture). However, it is common for people to wear black clothes or be captured by surveillance systems in low light illumination, in which cases the attributes of the clothing are severely missing. We call this problem the Black Re-ID problem. To solve this problem, rather than relying on the clothing information, we propose to exploit head-shoulder features to assist person Re-ID. The head-shoulder adaptive attention network (HAA) is proposed to learn the head-shoulder feature and an innovative ensemble method is designed to enhance the generalization of our model. Given the input person image, the ensemble method would focus on the head-shoulder feature by assigning a larger weight if the individual insides the image is in black clothing. Due to the lack of a suitable benchmark dataset for studying the Black Re-ID problem, we also contribute the first Black-reID dataset, which contains 1274 identities in training set. Extensive evaluations on the Black-reID, Market1501 and DukeMTMC-reID datasets show that our model achieves the best result compared with the state-of-the-art Re-ID methods on both Black and conventional Re-ID problems. Furthermore, our method is also proved to be effective in dealing with person Re-ID in similar clothing. Our code and dataset are avaliable on https://github.com/xbq1994/.

研究の動機と目的

• 黒い服や低照度のため衣服特徴が不明瞭な状況における人物再識別の課題に対処すること。
• 衣服の特徴が欠落している際の顔、髪、眼鏡などの判別性の高い特徴を活用する、新しいヘッドショルダー記述子を提案すること。
• 入力画像に黒い服が含まれる場合に、ヘッドショルダー特徴への依存度を自動的に高めるアダプティブアテンション機構を開発すること。
• Black Re-ID問題に特化した、1,274体の識別子を含み、黒い服のサンプルが顕著に存在する初のベンチマークデータセット、Black-reIDを構築すること。
• 本手法がBlack Re-IDに限らず、Market1501 や DukeMTMC-reID といった標準的なRe-IDデータセットに対しても性能向上を示すことを実証すること。

提案手法

• 全身表現を扱うグローバルストリームと、局所的なヘッドショルダー特徴を扱うヘッドショルダーアテンション（HSA）ストリームを備えた二重ストリームネットワークを設計する。
• オフザシェルフのポーズ推定器に代わる軽量なヘッドショルダー局所化レイヤーを導入し、効率性と精度を向上させる。
• 入力画像に黒い服が含まれる場合に、ヘッドショルダーストリームへの重みを高く設定するアダプティブアテンションモジュールを実装する。
• HSAストリームでGeMプーリングを用い、動的プーリングパラメータpを学習させ、グローバルおよび局所的特徴集約のバランスを取る。
• 判別性の高い特徴学習のため、トリプレット損失とクロスエントロピー損失を統合したジョイント損失関数を用いて、エンドツーエンドでモデルを訓練する。
• 入力画像の内容に基づき、グローバル特徴とヘッドショルダー特徴を動的に融合するアンサンブル戦略を適用し、耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 低照度または黒い服の状況下で、衣服特徴に代わる信頼できる代替としてヘッドショルダー特徴が利用可能か？
• RQ2 衣服の手がかりが欠落または劣化している際、ディープラーニングモデルがヘッドショルダー特徴を動的に優先する方法は何か？
• RQ3 グローバル表現とヘッドショルダー表現の間で適応的特徴統合を施すと、多様な照明および衣服状況下でのRe-ID性能にどのような影響を与えるか？
• RQ4 GeMプーリングは、GAPおよびGMPと比較して、判別性の高いヘッドショルダー特徴をどのように効果的に捉えているか？
• RQ5 専用のBlack Re-IDデータセットで学習した本手法が、標準的なRe-IDベンチマークに一般化できる程度はどの程度か？

主な発見

• 提案されたHAAモデルは、最先端手法と比較して、Black-reIDデータセットでmAPが4.7%向上し、ランク-1精度が4.3%向上した。
• アダプティブアテンションモジュールは、Black-reIDでmAPを0.7%、ランク-1を0.5%向上させ、DukeMTMC-reIDではmAPを1.1%、ランク-1を0.8%向上させた。
• GeMプーリングはGAPおよびGMPを上回り、Black-reIDデータセットでGAP比3.8%、GMP比1.7%のmAP向上を達成した。
• グローバル特徴とヘッドショルダー特徴をアダプティブアテンションで統合することで、グローバル特徴のみを使用した場合と比較して、mAPが7.8%、ランク-1が5.5%向上した。
• ヘッドショルダー特徴のみで、Black-reIDでmAPが34.2%、ランク-1が35.2%を達成し、グローバル特徴がなくても強力な判別性を示した。
• モデルは良好に一般化され、Market1501およびDukeMTMC-reIDでも最先端の性能を達成した。Black Re-ID設定に限らず有効であることが確認された。