[論文レビュー] MaskReID: A Mask Based Deep Ranking Neural Network for Person Re-identification

Lei Qi, Jing Huo+3 more|arXiv (Cornell University)|Apr 11, 2018

Video Surveillance and Tracking Methods参考文献 34被引用数 61

ひとこと要約

MaskReIDはマスクされた前景入力、スキップされたマルチ層特徴融合、そして複数データセットに跨る人物再識別性能を向上させる新規ランキング損失を導入します。

ABSTRACT

Person retrieval faces many challenges including cluttered background, appearance variations (e.g., illumination, pose, occlusion) among different camera views and the similarity among different person's images. To address these issues, we put forward a novel mask based deep ranking neural network with a skipped fusing layer. Firstly, to alleviate the problem of cluttered background, masked images with only the foreground regions are incorporated as input in the proposed neural network. Secondly, to reduce the impact of the appearance variations, the multi-layer fusion scheme is developed to obtain more discriminative fine-grained information. Lastly, considering person retrieval is a special image retrieval task, we propose a novel ranking loss to optimize the whole network. The proposed ranking loss can further mitigate the interference problem of similar negative samples when producing ranking results. The extensive experiments validate the superiority of the proposed method compared with the state-of-the-art methods on many benchmark datasets.

研究の動機と目的

• Re-IDのためにマスクされた前景入力を用いて背景雑音を低減する。
• マルチレイヤー特徴融合を通じて細かな情報を捉え、視点を跨ぐ情報を取得する。
• 検索時に複数のポジティブとネガティブを効果的に扱うランキング損失を開発する。

提案手法

• セグメンテーションを用いてマスクされた前景画像を生成し、元の入力とマスク済み入力の両方をネットワークに入力する。
• 低位・中位・高位特徴を結合するスキップ特徴融合層を用いる。
• 複数のポジティブとネガティブを同時に考慮してランキングを最適化する新規ランキング損失を採用する。
• ネットワークをInception風のアーキテクチャと融合特徴の共有バックボーンに基づかせる。
• アンカーあたり複数のポジティブ/ネガティブを拡張したN-pair-inspired ranking Objectiveで訓練する。

実験結果

リサーチクエスチョン

• RQ1 マスクされた前景入力は背景雑音を減らし、データセットを跨いでRe-IDの精度を向上させることができるか？
• RQ2 スキップ融合層を介してマルチレベル特徴を結合することで、人物検索の識別力の高い表現が得られるか？
• RQ3 アンカーあたり複数のポジティブとネガティブを使用するランキング損失は、Re-IDタスクにおいてトリプレット、N-pair、標準ソフトマックス損失より優れているか？

主な発見

方法	VIPeR	PRID	3DPeS	iLIDS	CUHK01	CUHK03
DGD	38.60	64.00	56.00	64.60	66.60	75.30
MaskReID-F	39.24	64.00	64.88	66.09	77.16	87.47
MaskReID-M	44.62	65.00	66.12	69.57	84.26	88.75
MaskReID (Ours)	45.57	70.00	68.60	70.43	84.05	92.25

• MaskReIDは小規模データセットで競争力のある結果を、Market1501やDukeMTMC-reIDのような大規模データセットでは最先端の性能を達成します。
• マスク入力とマルチレイヤー特徴融合が、ベースラインDGDネットワークに対する性能向上に寄与します。
• 提案されたランキング損失はソフトマックス、トリプレット、N-pair損失を上回り、リランキングがさらに結果を改善します。
• アブレーションは、マスク入力と融合特徴の双方が有益であり、それらの組み合わせが最良の性能をもたらすことを示しています。
• Market1501のsingle-queryで、MaskReIDはRank-1 90.44%およびmAP 75.36%を達成; リランキングを適用するとRank-1 92.46%、mAP 88.13%（single query）。
• DukeMTMC-reIDでは、MaskReIDがRank-1 78.86%とmAP 61.89%を達成; リランキング適用でRank-1 84.07%、mAP 79.73%。