[論文レビュー] Semantics-Guided Clustering with Deep Progressive Learning for Semi-Supervised Person Re-identification

Chih‐Ting Liu, Yu-Jhe Li+2 more|arXiv (Cornell University)|Oct 2, 2020

Video Surveillance and Tracking Methods参考文献 44被引用数 8

ひとこと要約

本稿では、ラベル付きデータを用いて未ラベルデータの擬似ラベル付けを段階的に改善する、新たな半教師あり人物再識別フレームワークであるSemantics-Guided Clustering with Deep Progressive Learning (SGC-DPL) を提案する。この手法は、クラスタ数やラベル付きデータの割合を事前に知らなくても、ラベル付きデータから得られる意味的ガイダンスを用いたアフィニティプロパゲーション（SG-AP）により、未ラベルデータのクラスタリングをガイドする。これにより、反復的かつ段階的な改善が可能となり、Market-1501 および DukeMTMC-re-ID データセットで最先端の性能を達成し、1/3のラベル付きデータでの設定で82.2%のrank-1精度を達成。完全教師あり設定に近い性能に近づいた。

ABSTRACT

Person re-identification (re-ID) requires one to match images of the same person across camera views. As a more challenging task, semi-supervised re-ID tackles the problem that only a number of identities in training data are fully labeled, while the remaining are unlabeled. Assuming that such labeled and unlabeled training data share disjoint identity labels, we propose a novel framework of Semantics-Guided Clustering with Deep Progressive Learning (SGC-DPL) to jointly exploit the above data. By advancing the proposed Semantics-Guided Affinity Propagation (SG-AP), we are able to assign pseudo-labels to selected unlabeled data in a progressive fashion, under the semantics guidance from the labeled ones. As a result, our approach is able to augment the labeled training data in the semi-supervised setting. Our experiments on two large-scale person re-ID benchmarks demonstrate the superiority of our SGC-DPL over state-of-the-art methods across different degrees of supervision. In extension, the generalization ability of our SGC-DPL is also verified in other tasks like vehicle re-ID or image retrieval with the semi-supervised setting.

研究の動機と目的

• ラベル付きと未ラベル付きの人物が完全に分離された、実用的ではあるが挑戦的な半教師あり人物再識別設定に対処すること。
• 既存手法がクラスタ数（K）や擬似ラベル割り当てのヒューリスティックな閾値を事前に必要とするという制限を克服すること。
• ラベル付きデータからの意味的ガイダンスを用いて、信頼性の高い未ラベル付きサンプルを動的に選別する段階的学習戦略を開発すること。
• ラベル付きデータからのフィードバックを用いて、擬似ラベルとクラスタリングを反復的に改善することで、モデルの汎化性能と性能を向上させること。
• 本手法の有効性を、人物再識別にとどまらず、車両再識別や細分化画像検索といった関連タスクの半教師あり設定においても示すこと。

提案手法

• クラスタ数を事前に知らなくても、ラベル付きデータを用いて未ラベル付きデータのクラスタリングをガイドする、意味的ガイダンス付きアフィニティプロパゲーション（SG-AP）を提案する。
• ラベル付きデータセットから動的に更新される信頼性閾値を用いて、段階的に未ラベル付きデータに擬似ラベルを割り当てる段階的学習戦略を導入する。
• 反復回数に応じて増加する閾値τを用い、信頼性の高い擬似ラベル付きサンプルの集合を拡大することで、初期クラスタリングのノイズ伝搬を低減する。
• ラベル付きデータからの改善された埋め込みを活用して、深層畳み込みニューラルネットワーク（CNN）バックボーンと擬似ラベル付けプロセスを反復的に最適化する。
• 信頼度重みを用いたソフトな擬似ラベル割り当てを採用し、初期段階のクラスタリング結果におけるノイズを低減する。
• 同じバックボーンとトレーニングプロトコルを再利用することで、車両再識別や画像検索などの他のタスクに対してもフレームワークを適応可能にし、汎用性を示す。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きと未ラベル付きの人物が完全に分離された状況で、クラスタ数を事前に知らない状態でも、未ラベルデータを効果的に活用できる半教師あり再識別フレームワークは構築可能か？
• RQ2 ノイズの多い初期クラスタリングに起因する誤りの蓄積を避けるために、擬似ラベル付けを段階的かつ信頼性高く行う方法は何か？
• RQ3 ラベル付きデータからの意味的ガイダンスは、弱教師あり設定下でクラスタリング品質と下流の再識別性能をどの程度向上させられるか？
• RQ4 固定閾値や既知のKを用いる既存手法と比較して、提案手法の段階的学習戦略は優れているか？
• RQ5 SGC-DPLフレームワークは、人物再識別にとどまらず、他の再識別および検索タスクにも一般化可能か？

主な発見

• Market-1501 データセットにおいて、1/3の人物がラベル付きの状態で、SGC-DPL は82.2%のrank-1精度と66.5%のmAPを達成。完全教師あり設定の85.5%（rank-1）と71.3%（mAP）に近い性能に到達した。
• 1/12の人物がラベル付きの状態を含む、あらゆるラベル付きデータ量の設定において、最先端の半教師あり再識別手法を上回る性能を示した。
• SGC-DPLでは5回目の反復で性能が収束したため、最終実装でt=8回の反復を採用することで、より高いロバスト性が保証された。
• 可視化結果から、初期クラスタリングには誤りが含まれていたが、段階的戦略により信頼性の高いサンプル（赤丸で示す）が徐々に特定され、擬似ラベルの正確性が時間経過とともに向上した。
• フレームワークは他のタスクに対しても良好に一般化された：VeRi-776 では車両再識別、CUB-200 では細分化画像検索において、半教師あり設定で強力な結果を達成した。
• アブレーションスタディの結果、ラベル付きデータ、SG-AP、段階的学習の組み合わせが最良の性能をもたらし、各コンponentが最終的な性能向上に顕著に寄与していることが確認された。