[論文レビュー] Cross-Resolution Adversarial Dual Network for Person Re-Identification and Beyond

Yu-Jhe Li, Yunchun Chen+2 more|arXiv (Cornell University)|Feb 19, 2020

Video Surveillance and Tracking Methods参考文献 70被引用数 18

ひとこと要約

本稿では、エンド・トウ・ジェネレーティブ・アドバーシャル・ラーニングを用いて低解像度の人物再識別（re-ID）画像において解像度不変の表現を学習し、高解像度の詳細を回復する、クロス解像度の敵対的デュアルネットワークであるCAD-Net++を提案する。このモデルは、5つの人物re-IDベンチマークで最先端の性能を達成し、未観測の解像度やクロス解像度の車両re-IDタスクに対しても効果的に一般化する。

ABSTRACT

Person re-identification (re-ID) aims at matching images of the same person across camera views. Due to varying distances between cameras and persons of interest, resolution mismatch can be expected, which would degrade re-ID performance in real-world scenarios. To overcome this problem, we propose a novel generative adversarial network to address cross-resolution person re-ID, allowing query images with varying resolutions. By advancing adversarial learning techniques, our proposed model learns resolution-invariant image representations while being able to recover the missing details in low-resolution input images. The resulting features can be jointly applied for improving re-ID performance due to preserving resolution invariance and recovering re-ID oriented discriminative details. Extensive experimental results on five standard person re-ID benchmarks confirm the effectiveness of our method and the superiority over the state-of-the-art approaches, especially when the input resolutions are not seen during training. Furthermore, the experimental results on two vehicle re-ID benchmarks also confirm the generalization of our model on cross-resolution visual tasks. The extensions of semi-supervised settings further support the use of our proposed approach to real-world scenarios and applications.

研究の動機と目的

• クエリ画像がしばしば低解像度であるのに対し、ギャラリー画像が高解像度であるという人物re-IDにおける解像度不一致の課題に対処すること。
• 事前に定義されたアップサンプリングレートを必要とし、未観測または可変な解像度では失敗する既存の超解像度ベースのre-ID手法の限界を克服すること。
• 解像度不変の特徴とre-ID指向の高解像度詳細を同時に学習するエンド・トウ・トレーニング可能なモデルを開発すること。
• 提案手法が人物re-IDをはるかに超えて、車両再識別などの他のクロス解像度視覚タスクに対しても一般化できることを示すこと。
• 限られたラベル付きデータでの実世界の展開シナリオに対応するため、半教師あり設定にモデルを拡張すること。

提案手法

• 特徴マップ上でマルチスケールの敵対的トレーニングにより解像度不変の表現を学ぶ、新しいクロス解像度ジェネレーティブ・アドバーシャル・ネットワーク（CRGAN）を提案する。
• 異なる特徴レベルにマルチスケールの敵対的損失を統合し、高解像度と低解像度の特徴の分布を一致させることで、ロバスト性と一貫性を向上させる。
• 超解像化中にアイデンティティ関連の詳細を保持するための再構成損失を採用し、生成されたHR画像がre-IDに対して判別可能であることを保証する。
• 画像レベルと特徴レベルの敵対的トレーニングを別々の判別器で行うデュアルストリームアーキテクチャを採用し、画像品質と特徴の判別可能性を同時に最適化する。
• 再構成損失、画像レベルの敵対的損失、マルチスケール特徴レベルの敵対的損失を組み合わせた総合損失を用いて、ネットワーク全体をエンド・トウ・トレーニングする。
• 訓練済みモデルを活用し、解像度に依存しないモデルを必要とせず、任意の入力解像度（未観測のものも含む）から高品質でre-ID最適化されたHR画像を生成する。

実験結果

リサーチクエスチョン

• RQ1 1つのディープラーニングモデルが、解像度に特化した超解像モデルを必要とせず、さまざまな未観測の入力解像度に対しても人物re-IDを効果的に処理できるか？
• RQ2 複数の特徴スケールでの敵対的ラーニングが、解像度不一致下でのre-ID特徴のロバスト性と判別力にどの程度向上効果をもたらすか？
• RQ3 ジェネレーティブモデリングによるre-ID指向の高解像度詳細の回復が、クロス解像度re-IDにおいて測定可能な性能向上をもたらすか？
• RQ4 提案手法が人物re-IDをはるかに超えて、車両再識別などの他のクロス解像度視覚認識タスクに対しても一般化可能か？
• RQ5 半教師あり設定ではモデルの性能はどの程度で、限られたラベル付きデータがある状況でも既存手法を上回るか？

主な発見

• CAD-Net++は、Market-1501、DukeMTMC-reID、CUHK03、MSMT17、およびCUHK03-MLRを含む5つの標準的な人物re-IDベンチマークで最先端の性能を達成し、特に未観測の解像度を含むクロス解像度設定下で顕著な優位性を示す。
• トレーニング時に未使用の解像度r=8のMLR-CUHK03ベンチマークにおいて、CAD-Net++は7つのクエリのうち6つを正しくマッチさせ、同じ設定でSING（1/7）とCSR-GAN（6/7）を大きく上回った。
• 車両re-identificationでは、未観測解像度クエリ（r=8）に対して7つのうち6つを正しくマッチさせ、SING（2/7）とCSR-GAN（3/7）を上回った。
• 再構成損失と敵対的損失がバランスしている場合（λ_rec = 1, λ_adv^D_F = 1, λ_adv^D_I = 1）、ハイパーパrameterの値の広い範囲で安定した性能を維持しており、ハイパーパrameterチューニングに対するロバスト性を示している。
• 感度分析により、敵対的損失または再構成損失が総合損失を支配する場合、性能が著しく低下することが確認され、損失重みのバランスの重要性が浮き彫りになった。
• 半教師ありre-ID設定に対しても、限られたアノテーションがある実世界のシナリオにおいて強い実用的応用性を示した。