[論文レビュー] An Effective Data Augmentation for Person Re-identification.

Yunpeng Gong, Zhiyong Zeng|arXiv (Cornell University)|Jan 21, 2021

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本論文は、グレースケール画像からの構造的情報を活用することで、露出変動に対するモデルのロバスト性を向上させる、人物再識別（ReID）のための新規データ拡張手法を提案する。ランダムグレースケール変換とランダムグレースケールパッチ置換を組み合わせることで、複数のデータセットで最大3.3%の検索精度向上を達成し、従来手法に比べ顕著な性能向上を示している。

ABSTRACT

In order to make full use of structural information of grayscale images and reduce adverse impact of illumination variation for person re-identification (ReID), an effective data augmentation method is proposed in this paper, which includes Random Grayscale Transformation, Random Grayscale Patch Replacement and their combination. It is discovered that structural information has a significant effect on the ReID model performance, and it is very important complementary to RGB images ReID. During ReID model training, on the one hand, we randomly selected a rectangular area in the RGB image and replace its color with the same rectangular area grayscale in corresponding grayscale image, thus we generate a training image with different grayscale areas; On the other hand, we convert an image into a grayscale image. These two methods will reduce the risk of overfitting the model due to illumination variations and make the model more robust to cross-camera. The experimental results show that our method achieves a performance improvement of up to 3.3%, achieving the highest retrieval accuracy currently on multiple datasets.

研究の動機と目的

• グレースケール画像からの構造的情報を効果的に活用することで、人物再識別（ReID）の性能を向上させること。
• トレーニング中に露出変動がReIDモデルに与える悪影響を低減すること。
• 多様なグレースケール拡張を導入することで、異なるカメラ間でのモデル一般化性とロバスト性を向上させること。
• 改善されたデータ拡張により、複数のベンチマークReIDデータセットで最先端の性能を達成すること。

提案手法

• 本手法は、画像全体をグレースケールに変換することで、モデルがモノクロム特徴にさらされる「ランダムグレースケール変換」を導入する。
• ランダムグレースケールパッチ置換を適用し、RGB画像内のランダムに選択された長方形領域を、同じ画像のグレースケール版からの対応するグレースケールパッチに置換する。
• 両手法の組み合わせにより、色とグレースケール領域が混合したトレーニングサンプルが生成され、特徴の多様性が向上する。
• モデルに多様な照明表現をさらすことで、特定の露出条件への過学習を低減するように設計されている。
• 推論パイプラインを変更せずにトレーニング時に拡張を適用するため、標準的なReIDフレームワークと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 グレースケール画像からの構造的情報は、どのように人物ReIDの性能を向上させるか？
• RQ2 グレースケール変換を用いたデータ拡張は、露出変動への感受性をどの程度低減するか？
• RQ3 グローバルおよびローカルなグレースケール拡張を組み合わせることで、クロスカメラReIDにおける一般化性が向上するか？
• RQ4 この拡張戦略により、標準的なReIDベンチマークで達成可能な最大の性能向上はどの程度か？

主な発見

• 提案手法は、複数の人物再識別データセットで最大3.3%の性能向上を達成した。
• ランダムグレースケール変換とパッチ置換の組み合わせが、評価されたベンチマークで報告された最高の検索精度を達成した。
• グレースケール画像からの構造的情報は、モデル性能を顕著に向上させ、RGB特徴の貴重な補完的役割を果たす。
• 露出変動への過学習を効果的に低減し、異なるカメラビュー間でのロバスト性が向上した。