[논문 리뷰] An Effective Data Augmentation for Person Re-identification.

Yunpeng Gong, Zhiyong Zeng|arXiv (Cornell University)|2021. 01. 21.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 사람 재식별(ReID)을 위한 새로운 데이터 증강 방법을 제안하며, 회색조 이미지에서 유도된 구조적 정보를 활용하여 조명 변화에 대한 모델의 강인성을 향상시킵니다. 무작위 회색조 변환과 무작위 회색조 패치 교체를 조합함으로써, 다양한 데이터셋에서 검색 정확도를 최대 3.3% 향상시켜 기존 방법에 비해 뚜렷한 성능 향상을 보입니다.

ABSTRACT

In order to make full use of structural information of grayscale images and reduce adverse impact of illumination variation for person re-identification (ReID), an effective data augmentation method is proposed in this paper, which includes Random Grayscale Transformation, Random Grayscale Patch Replacement and their combination. It is discovered that structural information has a significant effect on the ReID model performance, and it is very important complementary to RGB images ReID. During ReID model training, on the one hand, we randomly selected a rectangular area in the RGB image and replace its color with the same rectangular area grayscale in corresponding grayscale image, thus we generate a training image with different grayscale areas; On the other hand, we convert an image into a grayscale image. These two methods will reduce the risk of overfitting the model due to illumination variations and make the model more robust to cross-camera. The experimental results show that our method achieves a performance improvement of up to 3.3%, achieving the highest retrieval accuracy currently on multiple datasets.

연구 동기 및 목표

• 회색조 이미지에서 유도된 구조적 정보를 효과적으로 활용하여 사람 재식별(ReID) 성능을 향상시키기 위해.
• 훈련 중에 조명 변화가 ReID 모델에 악영향을 미치는 것을 줄이기 위해.
• 다양한 회색조 증강을 도입하여 다양한 카메라 간의 일반화 및 강인성을 향상시키기 위해.
• 개선된 데이터 증강을 통해 여러 표준 ReID 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 이 방법은 전체 이미지를 회색조로 변환하여 모델이 단색 특징을 노출시키는 무작위 회색조 변환을 도입합니다.
• 무작위 회색조 패치 교체를 적용하여 RGB 이미지의 무작위로 선택된 직사각형 영역을 동일 이미지의 회색조 버전에서 유도된 회색조 패치로 교체합니다.
• 이 두 기법의 조합은 색상과 회색조 영역이 혼합된 훈련 샘플을 생성하여 특징의 다양성을 증가시킵니다.
• 모델이 특정 조명 조건에 과적합되는 것을 줄이기 위해 다양한 조명 표현을 노출시키기 위해 설계되었습니다.
• 추론 파이프라인을 수정하지 않고 훈련 중에 증강을 적용하여 표준 ReID 프레임워크와의 호환성을 보장합니다.

실험 결과

연구 질문

• RQ1 회색조 이미지에서 유도된 구조적 정보는 어떻게 사람 ReID 성능을 향상시킬 수 있는가?
• RQ2 회색조 변환을 활용한 데이터 증강은 조명 변화에 대한 민감도를 어느 정도 감소시키는가?
• RQ3 전역적이고 국소적인 회색조 증강을 조합하면 교차 카메라 ReID에서 더 나은 일반화를 이끌 수 있는가?
• RQ4 이 증강 전략을 통해 표준 ReID 벤치마크에서 달성 가능한 최대 성능 향상은 얼마인가?

주요 결과

• 제안된 방법은 여러 사람 재식별 데이터셋에서 최대 3.3%의 성능 향상을 달성합니다.
• 무작위 회색조 변환과 패치 교체의 조합은 평가된 벤치마크에서 현재까지 보고된 바 중 가장 높은 검색 정확도를 기록합니다.
• 회색조 이미지에서 유도된 구조적 정보는 모델 성능을 크게 향상시키며 RGB 특징에 대한 유용한 보완 자료로 기능합니다.
• 이 방법은 조명 변화에 대한 과적합을 효과적으로 줄여 다양한 카메라 시야에서의 강인성을 향상시킵니다.