[論文レビュー] Recover and Identify: A Generative Dual Model for Cross-Resolution Person Re-Identification

Yu-Jhe Li, Yunchun Chen+3 more|arXiv (Cornell University)|Aug 16, 2019

Video Surveillance and Tracking Methods参考文献 43被引用数 15

ひとこと要約

本稿では、低解像度の人物再識別（re-ID）クエリから高解像度の詳細を回復させながら、解像度に依存しない特徴を同時に学習する、生成的デュアル敵対的ネットワークであるCAD-Netを提案する。敵対的損失、再構成損失、分類損失を統合したエンド・ツー・エンドの訓練により、5つのベンチマークで最先端のre-ID性能を達成し、特に事前に定義された拡大率を持たない未学習の解像度に対しても優れた性能を示す。

ABSTRACT

Person re-identification (re-ID) aims at matching images of the same identity across camera views. Due to varying distances between cameras and persons of interest, resolution mismatch can be expected, which would degrade person re-ID performance in real-world scenarios. To overcome this problem, we propose a novel generative adversarial network to address cross-resolution person re-ID, allowing query images with varying resolutions. By advancing adversarial learning techniques, our proposed model learns resolution-invariant image representations while being able to recover the missing details in low-resolution input images. The resulting features can be jointly applied for improving person re-ID performance due to preserving resolution invariance and recovering re-ID oriented discriminative details. Our experiments on five benchmark datasets confirm the effectiveness of our approach and its superiority over the state-of-the-art methods, especially when the input resolutions are unseen during training.

研究の動機と目的

• クエリ画像が低解像度（LR）である一方でギャラリー画像が高解像度（HR）である、実世界における人物再識別の解像度不一致の課題に対処すること。
• 事前に定義された拡大率を必要とする従来手法の限界を克服し、未学習の解像度に対しても有効に機能すること。
• 解像度に依存しない表現を同時に学習し、判別力のある高解像度の詳細を回復する統合的でエンド・ツー・エンドで訓練可能なモデルを開発すること。

提案手法

• 低解像度入力から高解像度画像を生成するためのデュアルストリームジェネレータと2つの識別器を備えた、クロス解像度生成的敵対的ネットワーク（CRGAN）を提案する。
• 特徴レベルの敵対的損失（$\mathcal{L}_{\mathrm{adv}}^{\mathcal{D}_{F}}$）を導入し、解像度に依存しない特徴を強制的に学習する。画像レベルの敵対的損失（$\mathcal{L}_{\mathrm{adv}}^{\mathcal{D}_{I}}$）により画像の現実性を向上させ、再構成損失（$\mathcal{L}_{\mathrm{rec}}$）により高解像度の詳細を保持する。
• 人物再識別のための判別力のある特徴学習を保証する分類損失（$\mathcal{L}_{\mathrm{cls}}$）を導入する。
• エンド・ツー・エンドで全モデルを訓練し、画像回復とre-ID性能の共同最適化を実現する。
• 評価のための解像度に依存しない埋め込みベクトルを抽出するために、特徴マップにグローバル平均プーリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 事前に定義された拡大率を必要とせず、単一の生成モデルが人物再識別に適した解像度に依存しない表現を効果的に学習できるか？
• RQ2 生成的敵対的ネットワークは、低解像度入力からre-ID指向の高解像度の詳細をどれほど効果的に回復できるか？
• RQ3 画像回復とre-IDの共同最適化は、逐次的なパイプラインよりも性能を向上させるか？
• RQ4 モデルは、学習時に未確認の解像度のクエリに対しても一般化できるか？
• RQ5 各損失成分（敵対的、再構成、分類）が最終的なre-ID性能に果たす相対的寄与度はどの程度か？

主な発見

• CAD-NetはMLR-CUHK03データセットでRank-1精度82.1%を達成し、最先端の手法を上回る。特に未学習の解像度において顕著な優位性を示す。
• アブレーションスタディの結果、特徴レベルの敵対的損失（$\mathcal{L}_{\mathrm{adv}}^{\mathcal{D}_{F}}$）を除去すると、Rank-1精度が67.6%に低下し、解像度に依存しない特徴学習においてその重要性が明確に示された。
• 再構成損失（$\mathcal{L}_{\mathrm{rec}}$）を除外すると、画像品質（PSNR: 12.9）とre-ID性能（Rank-1: 66.7%）の両方が著しく低下し、詳細回復の重要性が確認された。
• 分類損失（$\mathcal{L}_{\mathrm{cls}}$）を除去すると、re-ID性能はほぼゼロにまで低下（Rank-1: 1.7%）し、判別力のある特徴学習の必要性が裏付けられた。
• 可視化により、同じアイデンティティの異なるダウンサンプリング率（未学習のr=8を含む）からの特徴が良好にクラスタリングされていることが確認され、未学習の解像度への一般化が有効であることが検証された。
• MLR-CUHK03テストセットでは、SSIM 0.73、PSNR 20.2の高い知覚的品質を達成し、高解像度画像生成の有効性が裏付けられた。