[論文レビュー] When Person Re-identification Meets Changing Clothes

Fangbin Wan, Yang Wu+3 more|arXiv (Cornell University)|Mar 9, 2020

Video Surveillance and Tracking Methods参考文献 26被引用数 8

ひとこと要約

本稿は、人物再識別（ReID）における衣服不一致問題の最初の体系的調査を提示し、実世界の3日間・4カメラのデータセット（Real28）と、GTA5を用いて生成された大規模な合成データセット（VC-Clothes）を提案する。既存のReIDモデルが衣服不一致の下で著しく性能を低下させることを示し、合成データVC-Clothesで微調整することで、衣服変化を伴う実世界ReIDの性能が向上することを示した。Real28ではR@1が11.0%、mAPが10.6%を達成した。

ABSTRACT

Person re-identification (ReID) is now an active research topic for AI-based video surveillance applications such as specific person search, but the practical issue that the target person(s) may change clothes (clothes inconsistency problem) has been overlooked for long. For the first time, this paper systematically studies this problem. We first overcome the difficulty of lack of suitable dataset, by collecting a small yet representative real dataset for testing whilst building a large realistic synthetic dataset for training and deeper studies. Facilitated by our new datasets, we are able to conduct various interesting new experiments for studying the influence of clothes inconsistency. We find that changing clothes makes ReID a much harder problem in the sense of bringing difficulties to learning effective representations and also challenges the generalization ability of previous ReID models to identify persons with unseen (new) clothes. Representative existing ReID models are adopted to show informative results on such a challenging setting, and we also provide some preliminary efforts on improving the robustness of existing models on handling the clothes inconsistency issue in the data. We believe that this study can be inspiring and helpful for encouraging more researches in this direction. The dataset is available on the project website: https://wanfb.github.io/dataset.html.

研究の動機と目的

• 実世界監視環境におけるモデル一般化性能を損なう、長年にわたり軽視されてきた衣服不一致下における人物再識別（ReID）問題に対処すること。
• 同一アイデンティティに対して顕著な衣服変化を有する大規模かつ現実的なデータセットの不足を克服すること。
• 既存のReIDモデルが衣服不一致下でどのように頑健性を示すかを評価し、性能向上のための手法を検討すること。
• 合成データが、未観測の衣服変化に対してReIDの一般化性能を向上させる有効性を実証すること。

提案手法

• 3日間・4カメラで28名の被験者を対象に、自然な衣服変化を捉えた実世界データセット（Real28）を収集した。
• GTA5ゲームエンジンを用いて、3次元人体モデルに多様な衣服変化をシミュレートする大規模な合成データセット（VC-Clothes）を生成した。
• 重み付き平均を用いて全体的ReID特徴と顔特徴を統合するハイブリッド特徴統合モデル（3APF）を提案し、学習可能な統合重みwを導入した。
• 二重線形プーリング層を用いて、外観特徴（A(·)）とボディパーツ特徴（P(·)）を統合：f₁(I) = pooling(A(I) ⊗ P(I))。
• 0.8の信頼度閾値を設定した顔検出器（PyramidBox）を用い、バウンディングボックスを15ピクセル分拡張した。顔特徴抽出には、MS-1Mで事前学習済みのResNet50を用いた。
• Real28データセット上で、VC-ClothesまたはMarket1501で事前学習したモデルを微調整することで、衣服不一致ReIDにおける性能を向上させた。

実験結果

リサーチクエスチョン

• RQ1 衣服不一致は、最先端のReIDモデルの性能にどのように影響を与えるか？
• RQ2 合成データは、実世界の衣服変化を効果的にシミュレートできるか？
• RQ3 顔特徴は、衣服変化に起因する性能低下をどれほど緩和できるか？
• RQ4 合成データで微調整することで、衣服不一致を伴う実世界ReIDの性能が向上するか？

主な発見

• 顔特徴とReID特徴を統合した3APFモデルは、VC-ClothesデータセットでmAP 82.1%を達成し、単独の顔特徴抽出器（60.8%）や全体的特徴抽出器（79.7%）を著しく上回った。
• VC-Clothesで事前学習したモデルを直接Real28に適用した場合、結果は悪く（R@1 5.2%、mAP 3.6%）、ドメインギャップの問題が顕著に現れた。
• VC-Clothesで事前学習したモデルをMarket1501で微調整（VC-Clothes +FT）したところ、Real28におけるR@1が11.0%、mAPが10.6%に向上し、強力な転移性を示した。
• Real28で微調整した結果、Market1501で事前学習したモデル（Market1501 +FT）の性能も向上し、R@1が12.4%、mAPが7.6%を達成した。これは、合成データが実世界への適応に有効であることを確認した。
• RGB-Dデータセットでは、VC-Clothes +FTおよびMarket1501 +FTの両方ともR@1が50%を超えた。これは、マルチモodalな設定下でも衣服変化に対して頑健であることを示した。
• 本研究は、衣服不一致が既存のReIDモデルにとって深刻な課題であることを確認した。特に、衣服依存の外観特徴に依存するモデルでは顕著であり、識別子に頑健な特徴学習の必要性を強調した。