[論文レビュー] Viewpoint-Aware Loss with Angular Regularization for Person Re-Identification

Zhihui Zhu, Xinyang Jiang+5 more|arXiv (Cornell University)|Dec 3, 2019

Video Surveillance and Tracking Methods参考文献 20被引用数 11

ひとこと要約

本論文は、適応的ソフトラベルを用いて統一された超球上でアイデンティティとビジョンポイントの分布を統合的にモデル化する、新しい人物再識別手法であるViewpoint-Aware Loss with Angular Regularization (VA-reID)を提案する。ハードなビジョンポイントラベルを代替するビジョンポイントに配慮した適応的ラベルスムージングと、センター正則化を適用することで、ノイズ混じりまたは不正確なビジョンポイントアノテーションが存在する状況下でも、Market-1501およびDukeMTMC-reIDで最先端の性能を達成する。

ABSTRACT

Although great progress in supervised person re-identification (Re-ID) has been made recently, due to the viewpoint variation of a person, Re-ID remains a massive visual challenge. Most existing viewpoint-based person Re-ID methods project images from each viewpoint into separated and unrelated sub-feature spaces. They only model the identity-level distribution inside an individual viewpoint but ignore the underlying relationship between different viewpoints. To address this problem, we propose a novel approach, called extit{Viewpoint-Aware Loss with Angular Regularization }( extbf{VA-reID}). Instead of one subspace for each viewpoint, our method projects the feature from different viewpoints into a unified hypersphere and effectively models the feature distribution on both the identity-level and the viewpoint-level. In addition, rather than modeling different viewpoints as hard labels used for conventional viewpoint classification, we introduce viewpoint-aware adaptive label smoothing regularization (VALSR) that assigns the adaptive soft label to feature representation. VALSR can effectively solve the ambiguity of the viewpoint cluster label assignment. Extensive experiments on the Market1501 and DukeMTMC-reID datasets demonstrated that our method outperforms the state-of-the-art supervised Re-ID methods.

研究の動機と目的

• 人物再識別におけるビジョンポイントの変動に起因する、同じ人物の異なる角度からの画像間の視覚的外観の違いを解消すること。
• 従来の手法がビジョンポイントとアイデンティティの学習を別々に行い、ハードなビジョンポイントラベルを割り当てることで、最適でない特徴表現が生じるという制限を克服すること。
• 統一された超球内において、アイデンティティレベルおよびビジョンポイントレベルの両方の特徴分布を統合的にモデル化することで、クロスビジョンポイントマッチングを向上させること。
• ビジョンポイントラベルの曖昧さやノイズの影響を軽減するため、ビジョンポイントに配慮したラベルスムージング正則化（VALSR）を用いた適応的ソフトラベルに置き換えること。
• 不完全なビジョンポイントアノテーションが存在する現実世界の条件でも、強力なロバストネスと性能向上を示すことを実証すること。

提案手法

• すべてのビジョンポイントからの特徴が投影される統一された超球埋め込み空間を提案し、アイデンティティとビジョンポイントの両分布を統合的にモデル化可能にする。
• センター正則化を用いてアイデンティティレベルの分離とビジョンポイントレベルのクラスタリングを促進する、ビジョンポイントに配慮したアングル損失を導入する。
• ビジョンポイントに配慮した適応的ラベルスムージング正則化（VALSR）を構築し、分類センターとの類似度に基づいてワンホットハードラベルを適応的ソフトラベルに置き換える。
• 同じアイデンティティに属するビジョンポイントクラスタの中心を引き寄せることで、視覚的類似性を反映するセンター正則化項を採用する。
• 提案されたアングル損失とVALSRを用いて、アイデンティティとビジョンポイントの識別を同時に最適化する統合学習フレームワークを採用する。
• グローバルおよびローカル特徴学習の両方への適用を実施し、ローカルブランチではマルチストリップ構造を用いて細分化された表現を強化する。

実験結果

リサーチクエスチョン

• RQ1 統一された超球上でアイデンティティとビジョンポイントの分布を統合的にモデル化することで、ビジョンポイントの変動下でも人物再識別が向上するか？
• RQ2 ハードなビジョンポイントラベルを適応的ソフトラベルに置き換えることで、曖昧またはノイズ混じりのビジョンポイントアノテーションの悪影響が軽減されるか？
• RQ3 ビジョンポイントに配慮した適応的ラベルスムージング正則化（VALSR）は、従来のハードラベリングと比較して、特徴表現をどのように改善するか？
• RQ4 本手法は、現実世界のデータセットにおける不正確なビジョンポイントラベルに対して、どの程度ロバストであるか？
• RQ5 グローバルおよびローカル特徴の統合は、クロスビジョンポイント再識別における性能をさらに向上させるか？

主な発見

• VA-reIDは、ローカル特徴を組み合わせた場合、Market-1501でmAPが1.73%向上、Rank-1が0.36%向上し、最先端の性能を達成した。
• DukeMTMC-reIDでは、ローカル特徴を組み合わせた場合、mAPが3.03%向上、Rank-1が0.50%向上した。
• ポーズベースのビジョンポイントクラスタリングの正確度が44.57%にとどまっている状況下でも、VA-reIDはPCラベルを用いてDukeMTMC-reIDでmAP 80.69%、Rank-1 90.35%を達成し、ノイズ混じりのラベルに対しても強いロバストネスを示した。
• 予測されたビジョンポイントラベル（P）を用いたVA-reIDは、DukeMTMC-reIDでmAP 81.05%、Rank-1 90.75%を達成し、真値ラベル（mAP 81.48%、Rank-1 91.11%）にほぼ同等の性能を発揮した。
• 可視化結果から、VA-reIDはベースライン手法に比べて顕著に優れたクロスビジョンポイント検索性能を示し、クエリが異なるビジョンポイントからでも複数のビジョンポイントからの画像を正しく再取得できた。
• ハイパーパramータ解析により、αおよびβの広い範囲で手法が安定しており、適応的ラベルスムージング機構の有効性が裏付けられた。