[논문 리뷰] A general multi-modal data learning method for Person Re-identification

Yunpeng Gong|arXiv (Cornell University)|2021. 01. 21.

Video Surveillance and Tracking Methods참고 문헌 21인용 수 10

한 줄 요약

이 논문은 RGB 및 동종 이미지 모odal 간의 교차 모달 특징 학습을 향상시키기 위해 전역 및 국소 동종 변환을 조합하는 일반적인 다중 모달 데이터 학습 방법을 제안한다. RGB 이미지에 해당하는 동종 이미지의 영역을 추가하고 이미지를 동종 형태로 변환함으로써, 단일 모달 Re-ID에서 최대 3.3% 향상되고 스케치 Re-ID에서 8% 이상 향상되며, 동시에 적대적 방어 학습의 속도와 효율성도 향상된다.

ABSTRACT

This paper proposes a general multi-modal data learning method, which includes Global Homogeneous Transformation, Local Homogeneous Transformation and their combination. During ReID model training, on the one hand, it randomly selected a rectangular area in the RGB image and replace its color with the same rectangular area in corresponding homogeneous image, thus it generate a training image with different homogeneous areas; On the other hand, it convert an image into a homogeneous image. These two methods help the model to directly learn the relationship between different modalities in the Special ReID task. In single-modal ReID tasks, it can be used as an effective data augmentation. The experimental results show that our method achieves a performance improvement of up to 3.3% in single modal ReID task, and performance improvement in the Sketch Re-identification more than 8%. In addition, our experiments also show that this method is also very useful in adversarial training for adversarial defense. It can help the model learn faster and better from adversarial examples.

연구 동기 및 목표

• 사람 재식별에서 RGB와 동종 이미지 모달 간의 강력한 교차 모달 표현을 학습하는 데 도전하는 것.
• 도메인 갭과 모달리티 이동이 심각한 도전 과제인 스케치 기반 사람 재식별에서 성능을 향상시키는 것.
• 적대적 예제로부터 더 빠르고 효과적으로 학습할 수 있도록 해, 적대적 강건성을 향상시키는 것.
• 단일 모달 및 다중 모달 Re-ID 환경에 모두 적용 가능한 일반적인 목적의 데이터 증강 기법을 개발하는 것.

제안 방법

• 이 방법은 전체 RGB 이미지를 동종 이미지로 변환하여 모달리티 이동을 시뮬레이션하는 전역 동종 변환을 적용한다.
• 이 방법은 RGB 이미지의 임의의 직사각형 영역을 해당하는 동종 이미지의 영역으로 교체하여 국소 동종 변환을 수행한다.
• 이러한 변환은 혼합 모달리티를 가진 학습 샘플을 생성하여, RGB 및 동종 도메인 간의 공동 표현을 학습할 수 있도록 한다.
• 이 방법은 아키텍처 수정 없이 표준 Re-ID 학습 파이프라인에 통합되어 광범위하게 적용 가능하다.
• 이 방법은 감독 학습 및 적대적 학습 모두를 지원하며, 적대적 예제가 존재할 경우 수렴성과 강건성을 향상시킨다.
• 이 기법은 단일 모달 Re-ID에서 데이터 증강 전략으로 효과적이며, 모달리티 특화 설계 없이도 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 전역 및 국소 동종 변환을 조합함으로써 사람 재식별에서 교차 모달 특징 학습을 향상시킬 수 있는가?
• RQ2 기본 데이터 증강 기법과 비교할 때 이 방법은 스케치 기반 사람 재식별에서 얼마나 성능을 향상시키는가?
• RQ3 이 방법은 적대적 강건성 향상과 적대적 학습 중 수렴 속도 향상에 얼마나 효과적인가?
• RQ4 이 다중 모달 데이터 학습 접근법은 아키텍처 변경 없이 다양한 Re-ID 환경에 일반화될 수 있는가?

주요 결과

• 제안된 방법은 단일 모달 사람 재식별 작업에서 최대 3.3%의 성능 향상을 달성한다.
• 스케치 기반 사람 재식별에서 8% 이상의 성능 향상을 제공하여 강력한 교차 모달 일반화 능력을 입증한다.
• 적대적 학습 중 더 빠른 수렴과 적대적 예제에 대한 강건성 향상을 가능하게 하여 적대적 학습을 향상시킨다.
• 이 기법은 단일 모달 Re-ID에서 데이터 증강 전략으로 효과적이며, 모달리티 특화 구성 요소 없이도 모델 일반화 성능을 향상시킨다.