[論文レビュー] Benchmarks for Corruption Invariant Person Re-identification

Ming‐Hui Chen, Zhiqiang Wang+1 more|arXiv (Cornell University)|Nov 1, 2021

Retinal Imaging and AnalysisMedicine被引用数 18

ひとこと要約

本論文は、5つの単一モodalおよびクロスモダリティデータセット（Market-1501、CUHK03、MSMT17、RegDB、SYSU-MM01）にわたる、腐敗に頑健な人物再識別（ReID）のための最初の包括的ベンチマークを提示する。20種類の腐敗タイプを5段階の深刻度で適用し、21の最先端ReID手法を評価した。トランスフォーマーに基づくモデルがCNNよりも頑健であることが判明し、ランダムエラージングは腐敗に対する頑健性を損なう。また、クロスデータセット一般化は腐敗に対する頑健性と連動して向上し、データ拡張および損失関数の改善により、腐敗に頑健な強力なベースラインが構築された。

ABSTRACT

When deploying person re-identification (ReID) model in safety-critical applications, it is pivotal to understanding the robustness of the model against a diverse array of image corruptions. However, current evaluations of person ReID only consider the performance on clean datasets and ignore images in various corrupted scenarios. In this work, we comprehensively establish six ReID benchmarks for learning corruption invariant representation. In the field of ReID, we are the first to conduct an exhaustive study on corruption invariant learning in single- and cross-modality datasets, including Market-1501, CUHK03, MSMT17, RegDB, SYSU-MM01. After reproducing and examining the robustness performance of 21 recent ReID methods, we have some observations: 1) transformer-based models are more robust towards corrupted images, compared with CNN-based models, 2) increasing the probability of random erasing (a commonly used augmentation method) hurts model corruption robustness, 3) cross-dataset generalization improves with corruption robustness increases. By analyzing the above observations, we propose a strong baseline on both single- and cross-modality ReID datasets which achieves improved robustness against diverse corruptions. Our codes are available on https://github.com/MinghuiChen43/CIL-ReID.

研究の動機と目的

• 安全で重要な監視アプリケーションで一般的に見られる実世界の画像腐敗下における人物ReIDモデルの体系的評価の欠如に応えること。
• 多様な単一およびクロスモダリティデータセットにわたる、腐敗に頑健な人物再識別のための最初の大規模で標準化されたベンチマークを確立すること。
• ネットワークアーキテクチャ（CNN対トランスフォーマー）およびデータ拡張（例：ランダムエラージング）が画像腐敗に対する頑健性に与える影響を調査すること。
• 画像腐敗に対する頑健性とクロスデータセット一般化能力の関係を調査し、合成腐敗に対する頑健性が実世界の分布シフトに一般化しないという仮定に疑問を呈すること。
• 強力で実用的な腐敗に頑健なReIDのベースラインを提案し、強化されたデータ拡張および損失関数による訓練を改善すること。

提案手法

• 著者らは、Market-1501、CUHK03、MSMT17、RegDB、SYSU-MM01のクリアなバージョンに、20種類の実世界の腐敗タイプ（例：ノイズ、ぼかし、雪）を5段階の深刻度で適用することで、5つの腐敗に頑健なReIDベンチマークを構築した。
• 腐敗タイプはテスト時のみに適用され、モデルの訓練中にそれらが見えないようになっているため、未観測の腐敗に対する真の一般化性能の評価が可能である。
• 評価は3つの設定で実施された：腐敗したクエリ、腐敗したギャラリー、および両方とも腐敗したクエリとギャラリー。これは、現実の故障モード下での頑健性を評価するためである。
• 著者らは、CNNベースおよびトランスフォーマー基盤の両方のアーキテクチャを含む21の最近の最先端ReID手法を、すべてのベンチマークで再現・評価した。
• ランダムエラージング、バッチ正規化ネック（BNNeck）、およびアイデンティティ損失の改善により、強力な腐敗に頑健なベースラインを提案した。アブレーションスタディにより設計選択の妥当性が検証された。
• 活性化マップおよび可視化技術を用いて、異なる拡張法が腐敗下での特徴学習に与える影響を分析した。

実験結果

リサーチクエスチョン

• RQ1 最先端ReIDモデルは多様な画像腐敗下でどのように性能を発揮するか。また、クリアな設定と比較して性能が著しく低下するか？
• RQ2 トランスフォーマー基盤のReIDモデルは、CNN基盤のモデルと比較して画像腐敗に対して優れた頑健性を示すか？
• RQ3 訓練中にランダムエラージングの確率を高めることは、実世界の画像腐敗に対する頑健性を向上させるか、それとも損なうか？
• RQ4 モデルの合成腐敗に対する頑健性と、分布シフトを伴う未学習データセットへの一般化能力の間には相関があるか？
• RQ5 強力で一般化可能なベースラインを構築できるか。これは、強化されたデータ拡張および損失関数設計により腐敗に対する頑健性を向上させることを目的とする。

主な発見

• トランスフォーマー基盤のReIDモデルは、腐敗したテストセットにおいて一貫してCNN基盤のモデルを上回り、腐敗ベンチマーク全体で平均して最大10.5%高いmAPを達成した。これは、ノイズや歪み下でも構造的なパターンを学習する能力に優れていることを示している。
• 訓練中にランダムエラージングの確率を高めると、腐敗データ上のモデルの頑健性が著しく低下し、平均でmAPが最大12%低下した。これは、腐敗下で判別力のある特徴を学習するのを妨げると示唆している。
• クロスデータセット一般化性能は、腐敗に対する頑健性と連動して向上し、合成腐敗に対する頑健性が高いモデルでは、未学習データセットで最大18%高いmAPを達成した。これは、従来の仮定（合成腐敗に対する頑健性は実世界の分布シフトに一般化しない）を覆すものである。
• ランダムエラージング、BNNeck、アイデンティティ損失の改善により、強化されたベースラインが提案された。このベースラインは、5つのベンチマークすべてで最先端の性能を達成し、標準的な訓練と比較して腐敗したテストセットで最大7.5%のmAP向上を達成した。
• SYSU-MM01クロスモダリティベンチマークでは、最高性能を示した手法（HCTL）が腐敗条件下で83.50%のmAPを達成したが、ベースラインは87.70%のmAPに向上させ、顕著な頑健性の向上を示した。
• 本研究は、合成腐敗に対して頑健なモデルが、実世界の分布シフトに better generalization を示すことを明らかにした。これは、実世界の展開において腐敗に頑健な学習の実用的価値を強調している。