[論文レビュー] Unsupervised Tracklet Person Re-Identification

Minxian Li, Xiatian Zhu+1 more|arXiv (Cornell University)|Mar 1, 2019

Video Surveillance and Tracking Methods参考文献 62被引用数 5

ひとこと要約

本稿では、ペairワイズまたはアイデンティティのアノテーションが一切不要な、自動的に生成されたラベルなしトラックレットからエンドツーエンドで人物再識別を実現する、新たな深層学習フレームワークであるUnsupervised Tracklet Association Learning (UTAL) を提案する。カメラ内トラックレットの識別とカメラ間トラックレットの関連付けを同時に最適化することで、8つのベンチマークデータセットで最先端の性能を達成し、特にトラックレットの断片化やIDの重複問題に対処する点で、従来の自己教師ありおよびドメイン適応手法を上回っている。

ABSTRACT

Most existing person re-identification (re-id) methods rely on supervised model learning on per-camera-pair manually labelled pairwise training data. This leads to poor scalability in a practical re-id deployment, due to the lack of exhaustive identity labelling of positive and negative image pairs for every camera-pair. In this work, we present an unsupervised re-id deep learning approach. It is capable of incrementally discovering and exploiting the underlying re-id discriminative information from automatically generated person tracklet data end-to-end. We formulate an Unsupervised Tracklet Association Learning (UTAL) framework. This is by jointly learning within-camera tracklet discrimination and cross-camera tracklet association in order to maximise the discovery of tracklet identity matching both within and across camera views. Extensive experiments demonstrate the superiority of the proposed model over the state-of-the-art unsupervised learning and domain adaptation person re-id methods on eight benchmarking datasets.

研究の動機と目的

• 監視付き人物再識別のスケーラビリティのボトルネックを解消すること。これは、各カメラペアに対して高コストなペアワイズアイデンティティラベリングを必要とするためである。
• ラベル付きソースドメインやカメラ間アイデンティティアノテーションに依存しないこと。これにより、未知のカメラ構成を持つ実世界の監視環境への導入が可能になる。
• ラベルなしの動画データからエンドツーエンドで判別力があり、関連付け可能なトラックレット表現を学習する統合的深層学習フレームワークの開発。
• トラックレットベースの再識別におけるトラジェクトリの断片化やID重複問題を、ソフトラベルと統合最適化の導入により克服すること。

提案手法

• カメラごとのトラックレット識別（PCTD）とカメラ間トラックレット関連付け（CCTA）の損失を同時に最適化する2ストリーム深層学習アーキテクチャを提案する。
• 曖昧または断片的なトラックレットに対処するため、ソフトラベルに基づくPCTD損失を導入し、カメラ間でのID重複の影響を低減する。
• CCTAブランチでコントラスト学習戦略を採用し、異なるカメラからの同一アイデンティティのトラックレットをグループ化する確率を最大化する。
• カメラ内アイデンティティ識別とカメラ間マッチングを同時に学習する統合的マルチタスク学習目的関数を採用し、1つのエンドツーエンドネットワークで学習を実行する。
• 事前のサンプリングやドメイン特化のトラックレットフィルタリングを回避するため、すべての利用可能なトラックレットを微分可能に活用するトラックレットサンプリング戦略を適用する。
• カメラ内IDアノテーションが利用可能な弱教師あり設定では、ソフトラベルをハードワンホットラベルに置き換えることで適応可能となる。

実験結果

リサーチクエスチョン

• RQ1 アイデンティティアノテーションが一切ないラベルなしトラックレットから、深層学習モデルが判別力のある人物再識別特徴を学習できるか？
• RQ2 カメラ内識別とカメラ間関連付けの統合最適化は、教師なし条件下で真のアイデンティティマッチを効果的に発見できるか？
• RQ3 提案手法は、実世界の監視データにおけるトラジェクトリの断片化やID重複問題をどの程度効果的に処理できるか？
• RQ4 多様なデータセットにおいて、最先端の自己教師ありおよびドメイン適応再識別手法と比較して、モデルの性能はどの程度か？
• RQ5 限られたカメラ内アイデンティティラベルが利用可能な状況で、モデルは弱教師あり信号の恩恵を受けることができるか？

主な発見

• MARSデータセットにおいて、UTALはRank-1精度49.9%、mAP35.2%を達成し、従来の自己教師あり手法TAUDL（43.8%、29.1%）を顕著に上回った。
• 新たに導入されたDukeTrackletデータセットでは、UTALがRank-1 43.8%、mAP 36.6%を達成し、トラックレットベースのベンチマークにおける優れた一般化性能を示した。
• 事前にサンプリングされたトラックレットではなく、すべてのトラックレットを活用することで、MARSデータセットでRank-1が4.8%、mAPが6.1%向上し、エンドツーエンド学習の利点を裏付けた。
• バックボーンにDenseNet-121を使用した場合、MARSデータセットでRank-1 51.6%、mAP 35.9%を達成し、高度なネットワークアーキテクチャとも互換性があることを示した。
• 弱教師あり設定では、MARSデータセットでRank-1 59.5%、mAP 51.7%に向上し、カメラ内ラベルが限られた場合でも性能が著しく向上することを示した。
• DukeMTMC-VideoReIDではワンショットラベルなしの設定でも、UTALはRank-1 74.5%、mAP 72.1%を達成し、同様の自己教師あり設定下でEUG手法（72.8%、63.2%）を上回った。