[論文レビュー] Real-world Person Re-Identification via Degradation Invariance Learning

Yukun Huang, Zheng-Jun Zha+3 more|arXiv (Cornell University)|Apr 10, 2020

Video Surveillance and Tracking Methods参考文献 48被引用数 10

ひとこと要約

本稿では、ラベル付き修復データを必要とせずに、識別子と劣化特徴を分離する自己教師付き劣化不変表現学習フレームワークであるDI-REIDを提案する。二重判別器と特徴交換を用いた adversarial 訓練により、特に低解像度および低照度条件下でも最先端の性能を達成し、劣化不変性学習によるRank-1スコアが6.6%向上した。

ABSTRACT

Person re-identification (Re-ID) in real-world scenarios usually suffers from various degradation factors, e.g., low-resolution, weak illumination, blurring and adverse weather. On the one hand, these degradations lead to severe discriminative information loss, which significantly obstructs identity representation learning; on the other hand, the feature mismatch problem caused by low-level visual variations greatly reduces retrieval performance. An intuitive solution to this problem is to utilize low-level image restoration methods to improve the image quality. However, existing restoration methods cannot directly serve to real-world Re-ID due to various limitations, e.g., the requirements of reference samples, domain gap between synthesis and reality, and incompatibility between low-level and high-level methods. In this paper, to solve the above problem, we propose a degradation invariance learning framework for real-world person Re-ID. By introducing a self-supervised disentangled representation learning strategy, our method is able to simultaneously extract identity-related robust features and remove real-world degradations without extra supervision. We use low-resolution images as the main demonstration, and experiments show that our approach is able to achieve state-of-the-art performance on several Re-ID benchmarks. In addition, our framework can be easily extended to other real-world degradation factors, such as weak illumination, with only a few modifications.

研究の動機と目的

• 現実世界の人物再識別（Re-ID）システムにおける、低解像度、低照度、ぼやけなど画像品質の劣化という課題に対処すること。
• 既存の修復ベースのRe-ID手法の限界を受ける、合成データ拡張と現実世界の劣化との間のドメインギャップを克服すること。
• ペア化された修復データや外部の教師信号に依存せず、自己教師付き分離表現学習を活用してそれを回避すること。
• 解像度や照度の変動を含む複数の劣化タイプに一般化可能な統合フレームワークを構築すること。
• 低レベルの視覚的劣化に対して不変な特徴を学習することで識別子表現のロバスト性を向上させつつ、識別的な識別子情報は保持すること。

提案手法

• 入力画像から識別子関連特徴と劣化関連特徴を分離するため、コンテンツエンコーダーと劣化エンコーダーを備えた二重エンコーダー構造を提案する。
• 混合されたコンテンツ特徴と劣化特徴から画像を再構築するデコーダーを用い、クロス劣化生成（例：高解像度コンテンツに低解像度劣化を適用）を可能にする。
• 二つの判別器を導入する：実際の画像と生成画像の間のドメインギャップを低減するためのリアリティ判別器、および離散ラベルなしで劣化レベルを推定するrankGANベースの劣化判別器。
• 実画像と自己劣化画像ペア間での特徴交換を用いた自己教師付き訓練により、分離性とロバスト性を強化する。
• ペア化された実画像修復データが不要なように、ガンマ補正を弱い教師信号として用いて劣化モデリングをガイドする。
• 敵対的損失、再構築損失、識別子分類損失を用いて、エンドツーエンドで全体フレームワークを訓練し、分離性と検索性能の両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付き修復データが一切ない状況下でも、自己教師付き分離表現学習が劣化不変識別子特徴を効果的に抽出できるか？
• RQ2 提案フレームワークは、低解像度や低照度を含む複数の現実世界の劣化タイプにどの程度一般化できるか？
• RQ3 ベースラインモデルや既存のデータ拡張技術と比較して、劣化不変性学習がRe-ID性能をどの程度向上させるか？
• RQ4 識別子を保持しつつ劣化レベルを変更する自然な画像変換が生成可能か（効果的な分離性の証明）？
• RQ5 修復用ペア訓練データが欠如していることで、生成画像の品質および学習済み表現の真正性に悪影響が出るか？

主な発見

• 提案されたDI-REIDフレームワークは、複数のRe-IDベンチマークで最先端の性能を達成し、劣化不変性学習によるRank-1スコアが6.6%向上した。
• 劣化不変特徴（$f_{inv}$）はRank-5およびRank-10でも標準特徴を上回り、ノイズや劣化状態下での一般化性能が優れていることを示した。
• 劣化感受性特徴（$f_{sen}$）は高いRank-1スコアを達成しており、識別子の判別性が保持されている一方で、劣化不変性がロバスト性を向上させていることを確認した。
• t-SNE可視化により、学習済み劣化特徴が現実世界の照度分布と整合する意味のある多様体を形成していることが確認され、真正な劣化モデリングを示した。
• クロス照度およびクロス解像度設定下での生成画像は、過剰強化を伴わず自然で現実的な調整がなされており、LIME や DeepUPE などのSOTA手法を凌駆した視覚的真正性を示した。
• 解像度や照度を超える他の劣化タイプに対しても、アーキテクチャのわずかな変更で容易に拡張可能である。