[論文レビュー] Cross-Dataset Person Re-Identification via Unsupervised Pose Disentanglement and Adaptation

Yu-Jhe Li, Ci-Siang Lin+2 more|arXiv (Cornell University)|Sep 20, 2019

Video Surveillance and Tracking Methods参考文献 51被引用数 29

ひとこと要約

本稿では、統合的生成対抗ネットワークを用いて深層画像表現におけるポーズおよびドメイン要因を分離する、PDA-Netと呼ばれる新規な教師なしクロスドメイン人物再識別フレームワークを提案する。再構成、ポーズ、ドメイン、MMD損失を統合的に最適化することで、アイデンティティやポーズカテゴリの教師なし条件下でも、ポーズ誘導型画像変換と回復を可能にし、Market-1501およびDukeMTMC-reIDで20–25%のRank-1精度向上を達成し、最先端の性能を実現した。

ABSTRACT

Person re-identification (re-ID) aims at recognizing the same person from images taken across different cameras. To address this challenging task, existing re-ID models typically rely on a large amount of labeled training data, which is not practical for real-world applications. To alleviate this limitation, researchers now targets at cross-dataset re-ID which focuses on generalizing the discriminative ability to the unlabeled target domain when given a labeled source domain dataset. To achieve this goal, our proposed Pose Disentanglement and Adaptation Network (PDA-Net) aims at learning deep image representation with pose and domain information properly disentangled. With the learned cross-domain pose invariant feature space, our proposed PDA-Net is able to perform pose disentanglement across domains without supervision in identities, and the resulting features can be applied to cross-dataset re-ID. Both of our qualitative and quantitative results on two benchmark datasets confirm the effectiveness of our approach and its superiority over the state-of-the-art cross-dataset Re-ID approaches.

研究の動機と目的

• ターゲットドメインのデータにアイデンティティラベルが存在しないクロスドメイン人物再識別課題に対処すること。
• 従来の手法がスタイル変換にのみ焦点を当てており、ドメイン間でのポーズ情報の保持に失敗するという限界を克服すること。
• ターゲットドメインにおける事前定義されたポーズカテゴリやアイデンティティの教師なし条件下でも、ポーズおよびドメイン要因の分離表現を学習すること。
• 画像およびポーズ入力のみを用いて、単一ドメインの画像回復とクロスドメインの画像変換を両立させること。
• ドメイン不変およびポーズ不変特徴の統合最適化により、教師なし再識別における一般化性能と判別能力を向上させること。

提案手法

• ドメイン不変およびポーズ分離表現を同時に学習する統合的生成対抗ネットワーク（PDA-Net）を提案する。
• ドメイン間の画像変換中に画像レベルの詳細を保持するために再構成損失を用いる。
• ソースドメインとターゲットドメインの両方で一貫したポーズ表現を強制するために、共有ポーズ識別器を導入する。
• 生成画像に分離されたポーズ特徴が保持されることを保証するためにポーズ損失を適用する。
• ドメイン固有の特徴を維持しながらドメイン不変特徱の学習を可能にするためにドメイン損失を活用する。
• 特徴空間におけるソースドメインとターゲットドメイン間のドメインシフトを最小化するためにMMD損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 アイデンティティやポーズカテゴリの教師なし条件下でも、ポーズ誘導型の画像変換が効果的に実行可能か？
• RQ2 ポーズとドメイン要因の分離が、教師なしクロスドメイン人物再識別における一般化性能を向上させるか？
• RQ3 再構成、ポーズ、ドメイン、MMD損失の統合最適化が、再識別性能にどのように影響を与えるか？
• RQ4 共有ポーズ識別器は、個別に設計された識別器よりも、クロスドメインのポーズ分離に優れているか？
• RQ5 提案手法は、ポーズおよびコンテンツ情報を保持したまま、どの程度ドメインシフトを低減できるか？

主な発見

• PDA-Netは、従来の教師なしクロスドメイン再識別手法と比較して、Market-1501およびDukeMTMC-reIDの両方で20–25%の相対的なRank-1精度向上を達成した。
• 再構成損失を除外すると、Market-1501で23%、DukeMTMC-reIDで20%のRank-1性能低下が生じ、画像品質の保持においてその重要性が確認された。
• ポーズ損失を削除すると、両データセットで20%の性能低下が発生し、効果的なポーズ分離に不可欠であることが示された。
• ドメイン損失を無効化すると10%の性能低下が生じ、適切な特徴分離を維持する上でその役割が重要であることが示された。
• MMD損失はドメインシフトを効果的に低減し、その除去により顕著な性能劣化が生じたことから、ドメイン整合性に寄与していることが妥当性を保証した。
• 定性的な結果から、PDA-Netはドメイン間で高品質でポーズ制御可能な画像を効果的に生成できており、スタイル変換およびポーズ分離の両面でSPGANおよびFD-GANを上回った。