[論文レビュー] Semantics-Aligned Representation Learning for Person Re-identification

Xin Jin, Cuiling Lan+3 more|arXiv (Cornell University)|May 30, 2019

Video Surveillance and Tracking Methods参考文献 50被引用数 11

ひとこと要約

本論文は、デコーダーヘッドを介して密な意味的整合性のあるテクスチャ画像を生成するようにネットワークを訓練することで、同時にreIDの最適化を実行する、意味的整合性のある表現学習フレームワークを提案する。この手法は、合成データセットから得た疑似教師画像と三重項制約を視覚的損失として用い、推論のオーバーヘッドなしにCUHK03、Market1501、MSMT17、およびPartial REIDで最先端の性能を達成する。

ABSTRACT

Person re-identification (reID) aims to match person images to retrieve the ones with the same identity. This is a challenging task, as the images to be matched are generally semantically misaligned due to the diversity of human poses and capture viewpoints, incompleteness of the visible bodies (due to occlusion), etc. In this paper, we propose a framework that drives the reID network to learn semantics-aligned feature representation through delicate supervision designs. Specifically, we build a Semantics Aligning Network (SAN) which consists of a base network as encoder (SA-Enc) for re-ID, and a decoder (SA-Dec) for reconstructing/regressing the densely semantics aligned full texture image. We jointly train the SAN under the supervisions of person re-identification and aligned texture generation. Moreover, at the decoder, besides the reconstruction loss, we add Triplet ReID constraints over the feature maps as the perceptual losses. The decoder is discarded in the inference and thus our scheme is computationally efficient. Ablation studies demonstrate the effectiveness of our design. We achieve the state-of-the-art performances on the benchmark datasets CUHK03, Market1501, MSMT17, and the partial person reID dataset Partial REID. Code for our proposed method is available at: https://github.com/microsoft/Semantics-Aligned-Representation-Learning-for-Person-Re-identification.

研究の動機と目的

• ポーズの変化、視点の変化、遮蔽によって引き起こされる人物再識別（reID）における意味的不整合を解消すること。
• 推論の複雑さを増すことなく、画像間で空間的かつ意味的に整合された特徴表現を学習すること。
• 教師付き信号としての密な意味的整合性のあるテクスチャ画像を生成すること。
• 標準的なreIDデータセットに実際の整合性のあるテクスチャ画像のアノテーションが不足しているという課題を克服すること。
• より良い特徴整合性により、標準的および部分的reIDベンチマークの両方での性能向上を図ること。

提案手法

• 再識別用のベースエンコーダー（SA-Enc）と意味的整合性のあるテクスチャ画像を生成するデコーダー（SA-Dec）から成る意味的整合性ネットワーク（SAN）を提案する。
• デコーダーは、合成されたペアド・イメージ・テクスチャ（PIT）データセットから得た疑似教師画像を用いた再構成損失で訓練される。
• デコーダーの特徴マップに再識別用の三重項制約を適用し、意味的整合性を促進する視覚的損失として用いる。
• 推論時にはデコーダーを破棄するため、計算オーバーヘッドが生じない。
• モデルは、人物再識別損失（IDと三重項）とテクスチャ再構成損失を同時に最適化して学習する。
• ペアド・ペルソン画像とそれに対応する標準的なUVワープテクスチャを用いて、疑似教師画像を合成する。

実験結果

リサーチクエスチョン

• RQ1 reIDと意味的整合性のあるテクスチャ生成の共同学習は、人物reIDにおける特徴表現学習を向上させることができるか？
• RQ2 デコーダー特徴マップに三重項制約を視覚的損失として導入することで、特徴の整合性が向上するか？
• RQ3 ペアド画像と整合性のあるテクスチャから構成される合成データセットは、意味的整合性のある特徴の学習を効果的に支援できるか？
• RQ4 提案手法は、困難な部分的人物reIDのシナリオに一般化可能か？
• RQ5 推論コストを増加させることなく、最先端の性能を達成できるか？

主な発見

• 提案されたSANは、CUHK03で最先端の性能を達成し、Rank-1正解率80.1%、mAP 76.4%を達成した。
• Market1501では、Rank-1が96.1%、mAPが88.0%を達成し、以前の最先端手法を上回った。
• MSMT17ではmAPが87.9%を達成し、大規模データセットへの強い一般化能力を示した。
• Partial REIDデータセットでは、Rank-1正解率39.7%を達成し、ベースラインより5.8%高い性能を示した。
• Market1501の部分画像で微調整したSAN*は、Partial REIDでRank-1が44.7%を達成し、ベースラインを5.8ポイント上回った。
• 可視化の結果、多様なポーズや視点に対しても生成されたテクスチャ画像が意味的に整合していることが確認され、整合性学習の有効性が裏付けられた。