[論文レビュー] Long-Term Cloth-Changing Person Re-identification

Xuelin Qian, Wenxuan Wang+6 more|arXiv (Cornell University)|May 26, 2020

Video Surveillance and Tracking Methods参考文献 51被引用数 5

ひとこと要約

本論文は、新しい大規模な長期間衣装変化付き再識別（LTCC）データセットを導入し、長期間にわたる衣装変化下での人物再識別に対処するための新規ディーブラーニング手法を提案する。この手法は、ボディジョイントに基づく構造的特徴を抽出するための形状埋め込みモジュールと、自己注意機構を用いて身元関連のボディシェイプを衣装依存の外見から分離する衣装除去形状蒸留（CESD）モジュールを採用しており、新しいLTCCベンチマークにおいて最先端の性能を達成し、ベースラインモデル比で3%のRank-1精度向上を実現した。

ABSTRACT

Person re-identification (Re-ID) aims to match a target person across camera views at different locations and times. Existing Re-ID studies focus on the short-term cloth-consistent setting, under which a person re-appears in different camera views with the same outfit. A discriminative feature representation learned by existing deep Re-ID models is thus dominated by the visual appearance of clothing. In this work, we focus on a much more difficult yet practical setting where person matching is conducted over long-duration, e.g., over days and months and therefore inevitably under the new challenge of changing clothes. This problem, termed Long-Term Cloth-Changing (LTCC) Re-ID is much understudied due to the lack of large scale datasets. The first contribution of this work is a new LTCC dataset containing people captured over a long period of time with frequent clothing changes. As a second contribution, we propose a novel Re-ID method specifically designed to address the cloth-changing challenge. Specifically, we consider that under cloth-changes, soft-biometrics such as body shape would be more reliable. We, therefore, introduce a shape embedding module as well as a cloth-elimination shape-distillation module aiming to eliminate the now unreliable clothing appearance features and focus on the body shape information. Extensive experiments show that superior performance is achieved by the proposed model on the new LTCC dataset. The code and dataset will be available at https://naiq.github.io/LTCC_Perosn_ReID.html.

研究の動機と目的

• 頻繁に衣装が変化する長期間にわたる状況下で人物再識別を実現する、実用的ではあるが未だ十分に研究されていない課題に対処すること。
• 現在の短期間・衣装一貫型再識別ベンチマークと、長期間追跡および衣装変化を伴う実世界の展開状況との間のギャップを埋めること。
• ボディシェイプなどのソフトバイオメトリクス的特徴に注目することで、衣装依存の特徴を抑制し、身元不変の表現を学習するディーブラーニングモデルを開発すること。
• 今後の研究を支援するため、多様な衣装変化を含む大規模で長期間にわたる、マルチビューの新しいデータセットを提供すること。

提案手法

• 人間のキーポイント座標間の空間的・意味的関係を関係ネットワークを用いてモデル化することで、ボディシェイプ特徴を抽出する形状埋め込み（SE）モジュールを提案する。
• 自己注意機構を用いて特徴マップの再スケーリングを実現し、身元関連の特徴を衣装関連の特徴から明示的に分離する衣装除去形状蒸留（CESD）モジュールを導入する。
• CESDモジュールはResNet-50の残差ブロックの後に適用され、消去実験により、res3およびres4ブロックの両後に挿入した場合に最良の性能を示すことが判明した。
• 身元関連の特徴空間におけるクラス内コンパクト性とクラス間分離性を促進するため、トリプレット損失を用いてエンドツーエンドでモデルを訓練する。
• t-SNE可視化により特徴の分離が検証され、身元関連特徴（$f^+$）は衣装に関係なく人物ごとにクラスタリングされる一方、衣装関連特徴（$f^-$）は色やスタイルごとにグループ化される。

実験結果

リサーチクエスチョン

• RQ1 実世界の監視において数日から数か月にわたって衣装が変化する状況下でも、ディーブラーニングモデルが人物再識別に一般化可能か？
• RQ2 頻繁な衣装変化下の長期間再識別において、ボディシェイプなどのソフトバイオメトリクス的特徴は、衣装依存の外見特徴に比べてどれほど優れているか？
• RQ3 弱教師あり学習の枠組みで、専用モジュールが身元関連のボディ構造と衣装関連の視覚的手がかりを効果的に分離可能か？
• RQ4 従来の再識別モデルは、標準ベンチマークとは対照的に、長期間にわたる衣装変化条件においてどれほど性能が低下するか？

主な発見

• 提案手法はLTCCデータセットにおいてベースラインモデル比で3%高いRank-1精度を達成し、衣装変化下の長期間再識別において顕著な向上を示した。
• 形状埋め込み（SE）モジュールは、衣装変化下の設定において約3パーセンテージポイントのRank-1精度向上に寄与しており、安定した身元の手がかりを捉える上で極めて重要な役割を果たしていることが示された。
• 衣装除去形状蒸留（CESD）モジュールは、あらゆる設定においてRank-1およびmAPで2〜3%の性能向上をもたらし、特に挑戦的な衣装変化シナリオで最大の向上が観察された。
• 消去実験の結果、res3およびres4ブロックの両後にCESDモジュールを挿入した場合が、単一モジュールよりも優れた性能を示し、マルチスケール特徴の精練の利点を示した。
• t-SNE可視化により、身元関連特徴（$f^+$）は衣装に関係なく人物ごとにクラスタリングされる一方、衣装関連特徴（$f^-$）は色やスタイルごとにグループ化されることが確認され、分離目的の正当性が裏付けられた。
• トレーニング時に衣装ラベルを用いることでLTCCベンチマーク上でほとんど利益が得られず、長期間設定における外見特徴の限界が浮き彫りになった。