[論文レビュー] Dual Cluster Contrastive learning for Object Re-Identification

Hantao Yao, Changsheng Xu|arXiv (Cornell University)|Dec 9, 2021

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、対象の再識別（ReID）のための新しいフレームワークであるデュアルクラスタ対照学習（DCC）を提案する。DCCは、個々の特徴とクラスタ中心特徴の両方のメモリバンクを併用することで、対照学習の安定性を向上させる。個々の特徴レベルとクラスタ平均特徴レベルの両方のモーメンタム更新を活用することで、教師ありおよび教師なしReIDベンチマークにおいて最先端の性能を達成し、従来手法に比べてmAPを最大3.5%向上させた。

ABSTRACT

Recently, cluster contrastive learning has been proven effective for object ReID by computing the contrastive loss between the individual features and the cluster memory. However, existing methods that use the individual features to momentum update the cluster memory will fluctuate over the training examples, especially for the outlier samples. Unlike the individual-based updating mechanism, the centroid-based updating mechanism that applies the mean feature of each cluster to update the cluster memory can reduce the impact of individual samples. Therefore, we formulate the individual-based updating and centroid-based updating mechanisms in a unified cluster contrastive framework, named Dual Cluster Contrastive framework (DCC), which maintains two types of memory banks: individual and centroid cluster memory banks. Significantly, the individual cluster memory considers just one individual at a time to take a single step for updating. The centroid cluster memory applies the mean feature of each cluster to update the corresponding cluster memory. During optimization, besides the vallina contrastive loss of each memory, a cross-view consistency constraint is applied to exchange the benefits of two memories for generating a discriminative description for the object ReID. Note that DCC can be easily applied for unsupervised or supervised object ReID by using ground-truth labels or the generated pseudo-labels. Extensive experiments on three benchmarks, \emph{e.g.,} Market-1501, MSMT17, and VeRi-776, under extbf{supervised Object ReID} and extbf{unsupervised Object ReID} demonstrate the superiority of the proposed DCC.

研究の動機と目的

• 個々の特徴に基づくモーメンタム更新における不安定性、特に外れ値の影響を軽減すること。
• 補完的なクラスタ中心特徴に基づく更新メカニズムを導入することで、対象ReIDにおける表現学習の安定性と識別性を向上させること。
• 個々の特徴レベルとクラスタ中心特徴レベルの両方のクラスタ対照学習を統合した、教師ありおよび教師なしReIDに適用可能な単一で効果的なフレームワーク（DCC）を構築すること。
• ミニバッチサイズやモーメンタム係数といったハイパーパrameterへの感受性を低減し、学習収束性と一般化性能を向上させること。

提案手法

• DCCは、個々の特徴（個々のクラスタメモリ）とクラスタ平均特徴（クラスタ中心メモリ）の2つの別々のメモリバンクを維持する。
• 個々のクラスタメモリは、個々の特徴のモーメンタムベースの追跡によって更新され、確率的勾配降下法に類似した挙動を示す。
• クラスタ中心メモリは、各クラスタの平均特徴を用いて更新され、外れ値によるノイズを低減するため、バッチ勾配降下法に類似した挙動を示す。
• 両メモリバンク間のクロスビュー一貫性制約を適用することで、表現の一致を促進し、識別性を向上させる。
• フレームワークは任意のバックボーンネットワークと統合可能であり、教師あり設定では正解ラベル、教師なし設定では仮ラベルを用いることができる。
• 対照損失は両メモリバンクで独立して計算され、それらの共同最適化により特徴表現の質が向上する。

実験結果

リサーチクエスチョン

• RQ1 個々の特徴とクラスタ中心特徴に基づく更新を組み合わせた二重メモリ機構は、対象ReIDにおける対照学習の安定性を向上させることができるか？
• RQ2 個々の特徴ベースの更新と比較して、クラスタ中心特徴ベースの更新メカニズムは、ノイズや外れ値の影響をどのように低減するか？
• RQ3 個々の特徴メモリバンクとクラスタ中心特徴メモリバンクの共同最適化は、教師ありおよび教師なしReID設定における一般化性能を向上させるか？
• RQ4 DCCは、mAPとR1の指標において、既存のクラスタ対照学習手法に比べてどの程度優れているか？

主な発見

• Market-1501では、DCCは教師ありReIDで89.9%のmAPと64.3%のR1を達成し、Circle Loss（87.4% mAP、52.1% R1）を上回った。
• 教師なしReIDでは、Market-1501で35.9%のmAPと64.3%のR1を達成し、以前のSOTA（31.2% mAP、ClusterContrastive(Infomap)）を上回った。
• MSMT17では、ResNet50-ibnを用いて42.1%のmAPと87.9%のR1を達成し、以前のSOTA（40.8% mAP、ClusterContrastive(Infomap)）を著しく上回った。
• VeRi-776では、教師なしReIDで36.6%のmAPと64.9%のR1を達成し、すべての先行する教師なし手法を上回った。
• DCCは、通常のクラスタ対照学習に比べ、収束が早く、ミニバッチサイズやモーメンタムハイパーパrameterへの感受性が低減していた。
• アブレーションスタディにより、個々の特徴メモリとクラスタ中心特徴メモリ間のクロスビュー一貫性制約が、性能向上に不可欠であることが確認された。