[論文レビュー] Progressive Cross-camera Soft-label Learning for Semi-supervised Person Re-identification

Lei Qi, Lei Wang+3 more|arXiv (Cornell University)|Aug 15, 2019

Video Surveillance and Tracking Methods参考文献 65被引用数 8

ひとこと要約

本稿では、人物再識別における半教師付きフレームワークであるプログレッシブクロスカメラソフトラベル学習（PCSL）を提案する。この手法は、人物特徴の類似度行列を用いて、カメラ内ラベルデータからクロスカメラのソフトラベルを生成する。重み付き交差エントロピー損失と三重項損失を交互に最適化することで、ソフトラベルと特徴表現を改善し、外部データやGAN生成画像を用いないまま、5つのベンチマークで教師あり手法と同等の性能を達成する。また、教師なしベースラインより顕著に優れた性能を発揮する。

ABSTRACT

In this paper, we focus on the semi-supervised person re-identification (Re-ID) case, which only has the intra-camera (within-camera) labels but not inter-camera (cross-camera) labels. In real-world applications, these intra-camera labels can be readily captured by tracking algorithms or few manual annotations, when compared with cross-camera labels. In this case, it is very difficult to explore the relationships between cross-camera persons in the training stage due to the lack of cross-camera label information. To deal with this issue, we propose a novel Progressive Cross-camera Soft-label Learning (PCSL) framework for the semi-supervised person Re-ID task, which can generate cross-camera soft-labels and utilize them to optimize the network. Concretely, we calculate an affinity matrix based on person-level features and adapt them to produce the similarities between cross-camera persons (i.e., cross-camera soft-labels). To exploit these soft-labels to train the network, we investigate the weighted cross-entropy loss and the weighted triplet loss from the classification and discrimination perspectives, respectively. Particularly, the proposed framework alternately generates progressive cross-camera soft-labels and gradually improves feature representations in the whole learning course. Extensive experiments on five large-scale benchmark datasets show that PCSL significantly outperforms the state-of-the-art unsupervised methods that employ labeled source domains or the images generated by the GAN-based models. Furthermore, the proposed method even has a competitive performance with respect to deep supervised Re-ID methods.

研究の動機と目的

• トラッキングや最小限のアノテーションから得られるカメラ内ラベルのみが利用可能な現実世界の人物再識別において、クロスカメララベルが限られているという課題に対処する。
• 外部ラベル付きソースドメインや合成データを用いずに、潜在的なクロスカメラ関係を活用することで、半教師付きと教師ありRe-IDの性能格差を埋める。
• ソフトラベルと特徴表現を交互に改善するプログレッシブな学習フレームワークを構築し、モデルの一般化性能を向上させる。
• 曖昧なクロスカメラペairによる誤検出（偽陽性）に対して耐性を持つ損失関数を設計し、ノイズの多い単一カメラサンプルに対しても安定性を確保する。

提案手法

• 人物レベルの特徴から類似度行列を構築し、クロスカメラの人物埋め込み間の類似度を推定することで、ソフトラベル生成の基盤を形成する。
• 重み付き交差エントロピー損失を用いて、類似度行列に基づく分類性能を最適化し、クロスカメラの同一人物が正しくランク付けされるよう促進する。
• 重み付き三重項損失を適用し、カメラ間で人物内距離を最小化し、人物間距離を最大化することで特徴の識別性を向上させる。
• 交互学習戦略を実装：まず現在の特徴からソフトラベルを生成し、次にこれらのラベルを用いてネットワークを再訓練することで、表現とラベル品質を段階的に改善する。
• 反復的に特徴埋め込みとソフトラベルの信頼度を向上させるプログレッシブな学習スキームを導入し、安定的で段階的な性能向上を実現する。
• 一部の訓練対象が1台のカメラでのみ出現する場合（ノイズや不完全なデータを模倣）でも性能が維持されるよう、耐障害性のあるトレーニングプロトコルを設計する。

実験結果

リサーチクエスチョン

• RQ1 人物Re-IDにおいて、カメラ内ラベルデータのみから、クロスカメラの関係を効果的に推定できるか？
• RQ2 教師ありクロスカメララベルが存在しない半教師付き設定において、ソフトラベルを段階的に改善することで特徴表現をどのように向上できるか？
• RQ3 プログレッシブなソフトラベルを用いた学習において、分類ベースの損失（重み付き交差エントロピー）とメトリクスベースの損失（重み付き三重項損失）のうち、どちらがより効果的か？
• RQ4 単一カメラにのみ出現する人物が多数存在する状況（クロスカメラの監視が不完全）において、提案手法の耐性はどの程度か？
• RQ5 外部データセットやGAN生成画像を一切使用しない状況でも、本フレームワークは教師ありRe-ID手法と同等の性能を達成できるか？

主な発見

• 5つの大規模ベンチマークにおいて、PCSLはカメラ内ラベルのみを用いてMarket1501でmAP 66.9%、Rank-1 80.1%を達成し、最先端の教師なし手法を上回る。
• 重み付き交差エントロピーを用いるPCSL-Cバージョンは、200人の追加単一カメラ人物を含む設定でも、Market1501で67.42% mAP、79.43% Rank-1を達成し、ノイズデータに対して高い耐性を示す。
• 重み付き三重項損失を用いるPCSL-Dは、同じ200人の単一カメラ人物設定下でmAPが61.74%にとどまり、ノイズに敏感であることが判明。分類損失の方が安定性に優れている。
• 単一カメラ人物の数が異なるさまざまな設定においても、本手法は安定した性能を維持しており、不完全なクロスカメラ監視に対しても耐性があることを確認した。
• アブレーションスタディの結果、プログレッシブなソフトラベル生成と重み付き損失の両方が性能向上に不可欠であり、いずれかのコンponentを除くと顕著な性能低下が生じた。