[論文レビュー] A general multi-modal data learning method for Person Re-identification

Yunpeng Gong|arXiv (Cornell University)|Jan 21, 2021

Video Surveillance and Tracking Methods参考文献 21被引用数 10

ひとこと要約

本稿では、人物再識別（Re-ID）のための汎用的マルチモーダルデータ学習手法を提案する。この手法は、グローバルおよびローカルな同型変換を組み合わせることで、クロスモダリティ特徴学習を向上させる。RGB画像に対応する同型画像からの領域を追加し、画像を同型形式に変換することで、単一モダリティRe-IDでは最大3.3%、スケッチRe-IDでは8%以上向上し、同時に adversarial defense 学習の速度と効果を向上させる。

ABSTRACT

This paper proposes a general multi-modal data learning method, which includes Global Homogeneous Transformation, Local Homogeneous Transformation and their combination. During ReID model training, on the one hand, it randomly selected a rectangular area in the RGB image and replace its color with the same rectangular area in corresponding homogeneous image, thus it generate a training image with different homogeneous areas; On the other hand, it convert an image into a homogeneous image. These two methods help the model to directly learn the relationship between different modalities in the Special ReID task. In single-modal ReID tasks, it can be used as an effective data augmentation. The experimental results show that our method achieves a performance improvement of up to 3.3% in single modal ReID task, and performance improvement in the Sketch Re-identification more than 8%. In addition, our experiments also show that this method is also very useful in adversarial training for adversarial defense. It can help the model learn faster and better from adversarial examples.

研究の動機と目的

• 人物再識別における強固なクロスモダリティ表現学習の課題、特にRGBと同型画像モダリティ間の課題に対処すること。
• ドメインギャップとモダリティシフトが顕著なスケッチベースの人物再識別における性能向上。
• adversarial 例からのより速く効果的な学習を可能にすることで、adversarial に頑健な性能を向上させること。
• 単一モダリティおよびマルチモダリティRe-ID設定に広く適用可能な汎用的データ拡張技術の開発。

提案手法

• 本手法は、RGB画像全体を同型画像に変換することで、モダリティシフトを模倣するグローバル同型変換を実行する。
• 本手法は、RGB画像の矩形領域を同型画像の対応領域でランダムに置き換えることで、ローカル同型変換を実行する。
• これらの変換により、RGBおよび同型ドメイン間の統合表現学習が可能な、混合モダリティの訓練サンプルが生成される。
• 本手法は、アーキテクチャの変更なしに標準的なRe-ID訓練パイプラインに統合可能であり、広く適用可能である。
• 本手法は、教師あり学習および adversarial 学習の両方をサポートし、adversarial 例が存在する状況でも収束性と頑健性を向上させる。
• 本手法は、単一モダリティRe-IDにおけるデータ拡張戦略として効果的であり、モダリティ固有の設計を必要とせずに一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 グローバルおよびローカルな同型変換を組み合わせることで、人物再識別におけるクロスモダリティ特徴学習が向上するか？
• RQ2 本手法は、標準的なデータ拡張と比較して、スケッチベースの人物再識別における性能向上にどの程度寄与するか？
• RQ3 本手法は、adversarial 学習における収束の加速および adversarial に対する頑健性向上にどの程度効果的か？
• RQ4 本マルチモーダルデータ学習アプローチは、アーキテクチャの変更なしに、さまざまなRe-ID設定に一般化可能か？

主な発見

• 提案手法は、単一モダリティ人物再識別タスクで最大3.3%の性能向上を達成した。
• スケッチベースの人物再識別では8%以上の性能向上を達成し、顕著なクロスモダリティ一般化性能を示した。
• adversarial 学習において、収束の加速と adversarial 例に対する頑健性の向上を実現した。
• 本手法は、単一モダリティRe-IDにおけるデータ拡張戦略として効果的であり、モダリティ固有のコンponentsを必要とせずにモデルの一般化性能を向上させた。