[論文レビュー] Intra-Camera Supervised Person Re-Identification

Xiangping Zhu, Xiatian Zhu+4 more|arXiv (Cornell University)|Feb 12, 2020

Video Surveillance and Tracking Methods参考文献 51被引用数 6

ひとこと要約

本稿では、クロスカメラのアイデンティティラベル付けにかかるコストを削減するために、各カメラごとに独立したラベルを用いてモデルを訓練する、イントラカメラ教師あり（ICS）人物再識別という新しいパラダイムを提案する。マルチタスクマルチラベル埋め込み（MATE）フレームワークを導入し、マルチタスク学習の枠組み内で自己発見的にクロスカメラのアイデンティティ対応関係を学習する。Market-1501では88.7%のランク-1精度を達成し、自己教師ありモデルを上回り、完全教師ありの性能に非常に近い結果を得た。注釈コストは顕著に低減された。

ABSTRACT

Existing person re-identification (re-id) methods mostly exploit a large set of cross-camera identity labelled training data. This requires a tedious data collection and annotation process, leading to poor scalability in practical re-id applications. On the other hand unsupervised re-id methods do not need identity label information, but they usually suffer from much inferior and insufficient model performance. To overcome these fundamental limitations, we propose a novel person re-identification paradigm based on an idea of independent per-camera identity annotation. This eliminates the most time-consuming and tedious inter-camera identity labelling process, significantly reducing the amount of human annotation efforts. Consequently, it gives rise to a more scalable and more feasible setting, which we call Intra-Camera Supervised (ICS) person re-id, for which we formulate a Multi-tAsk mulTi-labEl (MATE) deep learning method. Specifically, MATE is designed for self-discovering the cross-camera identity correspondence in a per-camera multi-task inference framework. Extensive experiments demonstrate the cost-effectiveness superiority of our method over the alternative approaches on three large person re-id datasets. For example, MATE yields 88.7% rank-1 score on Market-1501 in the proposed ICS person re-id setting, significantly outperforming unsupervised learning models and closely approaching conventional fully supervised learning competitors.

研究の動機と目的

• 従来の完全教師あり人物再識別が、広範なクロスカメラのアイデンティティマッチングを要するための高い注釈コストを是正すること。
• カメラ間のアイデンティティラベル付けの負担を軽減すること。これは、カメラ数とアイデンティティ数の増加に伴い、2乗的に増大するため。
• カメラごとのアイデンティティラベルのみに依存する、スケーラブルな再識別フレームワークを構築すること。これにより、並列かつ競合のない注釈が可能になる。
• 明示的なクロスカメララベルなしで、クロスカメラのアイデンティティ対応関係を自己発見的に学習できる深層学習モデルを設計すること。
• ICS再識別とMATEが、完全教師あり手法に非常に近い性能を達成する一方で、自己教師あり手法よりも著しくコスト効率に優れていることを実証すること。

提案手法

• カメラごとに独立したラベルを割り当て、別々のクラス空間を用いるイントラカメラ教師あり（ICS）再識別パラダイムを提案する。
• マルチタスクマルチラベル埋め込み（MATE）モデルを導入し、複数のカメラ視点で同一画像に対して複数のアイデンティティラベルを予測するマルチタスク学習で訓練される深層ニューラルネットワークを採用する。
• 複数のカメラを同時に予測するマルチラベル分類ヘッドを採用し、視点間でのアイデンティティの推移的関連付けを可能にする。
• モデルが異なるカメラで同一アイデンティティと予測した場合に、特徴量を引き寄せるコントラスト型損失関数を用いる。
• 動的しきい値を用いたカリキュラム学習戦略を導入し、訓練中に段階的にアイデンティティ関連付けを精錬する。
• 明示的な推移的リンクのモデリングを行わず、複数のカメラ視点間での暗黙の推移的推論を活用して、クロスカメラのアイデンティティ発見を強化する。

実験結果

リサーチクエスチョン

• RQ1 クロスカメラのアイデンティティマッチングを要しない、カメラごとのアイデンティティラベルのみを用いて、人物再識別モデルが高い性能を達成できるか？
• RQ2 明示的なクロスカメララベルが存在しない状況下で、マルチタスクマルチラベル学習フレームワークが、クロスカメラのアイデンティティ対応関係をどれほど効果的に発見できるか？
• RQ3 提案されたICSパラダイムは、従来の完全教師あり再識別と比較して、どの程度注釈コストを削減できるか？
• RQ4 ICS設定下で、MATEモデルの性能は自己教師ありおよび完全教師ありのベースラインと比べてどの程度優れているか？
• RQ5 推移的推論とカリキュラム学習の影響は、ICSフレームワークにおけるアイデンティティ関連付けの頑健性と正確性にどのような影響を及ぼすか？

主な発見

• MATEモデルはICS再識別設定下でMarket-1501で88.7%のランク-1精度を達成し、すべての自己教師ありおよびドメイン適応ベースラインを顕著に上回った。
• MSMT17では、MATEを用いたICS設定で、ランク-1が46.0%、mAPが19.1%を達成し、カメラごとのラベルのみを用いても、自己教師ありおよびトラッキングベースの手法を上回った。
• MSMT17のサブセット（714アイデンティティ）において、ICS再識別は注釈コストを2.5人日まで削減した。完全教師あり設定の8人日と比較すると、作業量は3.2倍削減された。
• MATEモデルの性能はハイパーパramータの変動に対して安定しており、損失重みλやカリキュラムしきい値の妥当範囲が広く、訓練の安定性と容易さを示した。
• 明示的に推移的アイデンティティ関連付けをモデル化した場合、R1/mAPは88.9%/71.2%を達成し、暗黙的に関係をマイニングした場合の88.7%/71.1%とほぼ同一であった。これは、暗黙の推移的性質が十分であり、より効率的であることを確認した。
• ICSパラダイムにより、カメラ間で並列して注釈を実施でき、競合のない環境が実現され、調整のオーバーヘッドが低減した。これは、大規模な監視展開に向けたスケーラビリティを向上させた。