[論文レビュー] Multi-Domain Learning and Identity Mining for Vehicle Re-Identification

Shuting He, Hao Luo+6 more|arXiv (Cornell University)|Apr 22, 2020

Video Surveillance and Tracking Methods参考文献 20被引用数 5

ひとこと要約

本論文は、実世界データと合成データの両方を用いて車両再識別（ReID）性能を向上させるために、マルチドメイン学習（MDL）戦略とアイデンティティマイニング（IM）手法を提案する。ドメインに適応したファインチューニングを併用して実世界および合成データを共同で学習し、IMにより高信頼度の偽ラベルを生成することで、0.7322 mAPを達成し、AICITY2020 Track2で3位を獲得した。

ABSTRACT

This paper introduces our solution for the Track2 in AI City Challenge 2020 (AICITY20). The Track2 is a vehicle re-identification (ReID) task with both the real-world data and synthetic data. Our solution is based on a strong baseline with bag of tricks (BoT-BS) proposed in person ReID. At first, we propose a multi-domain learning method to joint the real-world and synthetic data to train the model. Then, we propose the Identity Mining method to automatically generate pseudo labels for a part of the testing data, which is better than the k-means clustering. The tracklet-level re-ranking strategy with weighted features is also used to post-process the results. Finally, with multiple-model ensemble, our method achieves 0.7322 in the mAP score which yields third place in the competition. The codes are available at https://github.com/heshuting555/AICITY2020_DMT_VehicleReID.

研究の動機と目的

• 実世界と合成データの間のドメインシフトを解消すること。
• 外部アノテーションを一切用いずに、合成データを効果的に活用してReID性能を向上させること。
• アイデンティティマイニングを用いて、テストデータの正確な偽ラベルを自動で生成すること。
• マルチモデルアンサンブルとポストプロセッシングを通じて、モデルの汎化性能とmAPを向上させること。

提案手法

• 実世界データおよび一部の合成データで事前学習を行い、その後、実世界データでドメインに適応したファインチューニングを実施するマルチドメイン学習（MDL）手法を提案。この際、初期層は固定する。
• アイデンティティマイニング（IM）を導入し、各アイデンティティごとに高信頼度のサンプルをクラスタ中心として選別し、類似するサンプルに偽ラベルを割り当てる。これにより、低品質なクラスタリングを回避する。
• 時間的整合性を活用して、重み付き特徴（WF-TRR）を用いたトラックレットレベルのリランク戦略を適用し、検索結果を精緻化する。
• 人物ReIDの強力なベースライン（BoT-BS）を、学習率、最適化手法、損失関数の変更を加えて、車両ReIDに適応させた。
• 複数のモデルをアンサンブルすることで、単一モデルの結果をさらに上回る性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 顕著なドメインバイアスが存在するにもかかわらず、合成データを効果的に活用して実世界の車両ReID性能を向上させることは可能か？
• RQ2 標準的なk-meansクラスタリングを上回る精度で、テストデータの偽ラベル付けをどのように改善できるか？
• RQ3 ドメイン固有のファインチューニングを伴うマルチドメイン学習は、統合学習や合成データでの事前学習を上回る性能を発揮するか？
• RQ4 重み付き特徴を用いたトラックレットレベルのリランク戦略は、車両ReIDにおけるmAP向上にどの程度寄与するか？

主な発見

• 提案手法のMDLは、CityFlowベンチマークにおいてmAPを59.3%から65.3%まで向上させ、統合学習および事前学習ベースラインを上回った。
• アイデンティティマイニングは、Split-testで98.7%の精度で偽ラベルを生成し、k-meansクラスタリング（84.0%の精度）を大きく上回った。
• ベースライン＋IMは、CityFlowで68.5%のmAPを達成し、ベースライン比3.2%の向上を示し、高信頼度偽ラベル付けの有効性を裏付けた。
• WF-TRR、MDL、IM、アンサンブルを統合したフルパイプラインは、0.7322 mAPを達成し、AICITY2020 Track2で41チーム中3位を獲得した。
• アブレーションスタディにより、WF-TRR、MDL、IM、アンサンブルの各コンponentが、最終的なmAP向上に段階的に寄与していることが確認された。