[論文レビュー] 1st Place Solution to VisDA-2020: Bias Elimination for Domain Adaptive Pedestrian Re-identification

Jianyang Gu, Hao Luo+7 more|arXiv (Cornell University)|Dec 25, 2020

Video Surveillance and Tracking Methods参考文献 14被引用数 4

ひとこと要約

本論文は、歩行者再識別における2段階のドメイン適応フレームワークを提示し、ドメイン間ギャップとドメイン内カメラバイアスの両方を解消する。SPGANを用いたデータ転送とCamStyleのデータ拡張を組み合わせ、DBSCANによる疑似ラベルと段階的精錬を用いた二段階学習戦略を採用することで、VisDA-2020テストセットで76.56%のmAPと84.25%のrank-1を達成し、すべての競合手法を上回った。

ABSTRACT

This paper presents our proposed methods for domain adaptive pedestrian re-identification (Re-ID) task in Visual Domain Adaptation Challenge (VisDA-2020). Considering the large gap between the source domain and target domain, we focused on solving two biases that influenced the performance on domain adaptive pedestrian Re-ID and proposed a two-stage training procedure. At the first stage, a baseline model is trained with images transferred from source domain to target domain and from single camera to multiple camera styles. Then we introduced a domain adaptation framework to train the model on source data and target data simultaneously. Different pseudo label generation strategies are adopted to continuously improve the discriminative ability of the model. Finally, with multiple models ensembled and additional post processing approaches adopted, our methods achieve 76.56% mAP and 84.25% rank-1 on the test set. Codes are available at https://github.com/vimar-gu/Bias-Eliminate-DA-ReID

研究の動機と目的

• 歩行者再識別における合成ソースドメインと現実世界のターゲットドメインの間の大きなドメインギャップを解消すること。
• カメラの視点、照明、解像度、隠蔽の変化に起因するドメイン内バイアスを軽減すること。
• データ拡張とドメイン適応を用いてドメインシフト下でのモデル一般化能力と判別能力を向上させること。
• ドメイン適応型歩行者再識別におけるVisDA-2020ベンチマークで最先端の性能を達成すること。

提案手法

• 合成ソース画像を実際のターゲットドメイン画像の外観に一致させるためにSPGANを活用し、ドメイン間ギャップを低減する。
• StarGANに基づくデータ拡張を用いて多様なカメラスタイルの画像（CamStyle）を生成し、カメラ固有の変化に対する耐性を向上させる。
• 共通のバックボーンとドメイン固有の分類器を備えた二段階のドメイン適応フレームワークを採用し、ソースドメインとターゲットドメインを同時に学習する。
• ターゲットドメインデータの疑似ラベルをDBSCANクラスタリングを用いて生成し、第二段階で信頼度の高い低サンプルクラスを追加することで段階的精錬を実現する。
• 二段階の疑似ラベル化戦略を適用：第一段階ではサンプル数上位500クラスを選択し、第二段階で追加で200クラスの1サンプルクラスを追加して判別学習を強化する。
• 複数のバックボーン（ResNet50-ibn-a、ResNet101-ibn-a、HRNetv2-w18）を用いたモデルアンサンブルと、重み付き距離行列統合による後処理を統合し、最終的な性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 歩行者再識別において、合成ソースドメインと現実世界のターゲットドメインの間のドメインギャップを効果的に低減する方法は何か？
• RQ2 監視カメラ間のカメラスタイルの違いがモデルの一般化能力にどの程度悪影響を及ぼすか、そしてその影響をどのように軽減できるか？
• RQ3 DBSCANを用いた段階的疑似ラベル化は、再識別における教師なしドメイン適応でモデル性能を向上させることができるか？
• RQ4 データ拡張（SPGANとCamStyle）とドメイン適応の両者がドメインシフトを低減するにあたり、それぞれが果たす貢献度は何か？
• RQ5 モデルアンサンブルと後処理は、VisDA-2020ベンチマークにおける最終的な再識別性能をどのように向上させるか？

主な発見

• 提案手法はVisDA-2020テストセットで76.56%のmAPと84.25%のrank-1を達成し、コンテストで1位を獲得した。
• アブレーションスタディの結果、CamStyleデータの追加によりmAPはSPGANのみの24.7%から30.7%に上昇し、カメラバイアス低減の重要性が明確になった。
• 二段階の疑似ラベル化を用いたドメイン適応により、mAPは44.9%から48.6%に上昇し、段階的精錬の有効性が裏付けられた。
• 重み付き距離行列統合による後処理により、ベースライン単一モデルと比較してmAPが22.3ポイント上昇した。
• 複数のバックボーンと画像サイズを用いたモデルアンサンブルにより、最良の単一モデルと比較してmAPが5.5ポイント以上向上した。
• 最終モデルは、すべての競合手法の中で最高のrank-1精度（84.25%）を達成し、フレームワークの堅牢性を確認した。