[논문 리뷰] Rethinking Person Re-Identification via Semantic-Based Pretraining

Suncheng Xiang, Gao, Jingsheng외 6명|arXiv (Cornell University)|2021. 10. 11.

Video Surveillance and Tracking Methods참고 문헌 13인용 수 5

한 줄 요약

이 논문은 사람 재식별(Person Re-Identification, Re-ID)를 위한 의미 기반 사전 훈련 방법인 VTBR를 제안하며, 새로 구축한 FineGPR-C 데이터셋으로부터 얻은 고밀도 텍스트 캡션을 사용해 CNN을 처음부터 훈련함으로써 ImageNet 사전 훈련에 비해 최대 1.4배 적은 이미지로도 경쟁적인 성능을 달성한다. 이는 언어 기반 사전 훈련이 Re-ID에서 실현 가능하다는 것을 보여준다.

ABSTRACT

Pretraining is a dominant paradigm in computer vision. Generally, supervised ImageNet pretraining is commonly used to initialize the backbones of person re-identification (Re-ID) models. However, recent works show a surprising result that CNN-based pretraining on ImageNet has limited impacts on Re-ID system due to the large domain gap between ImageNet and person Re-ID data. To seek an alternative to traditional pretraining, here we investigate semantic-based pretraining as another method to utilize additional textual data against ImageNet pretraining. Specifically, we manually construct a diversified FineGPR-C caption dataset for the first time on person Re-ID events. Based on it, a pure semantic-based pretraining approach named VTBR is proposed to adopt dense captions to learn visual representations with fewer images. We train convolutional neural networks from scratch on the captions of FineGPR-C dataset, and then transfer them to downstream Re-ID tasks. Comprehensive experiments conducted on benchmark datasets show that our VTBR can achieve competitive performance compared with ImageNet pretraining - despite using up to 1.4x fewer images, revealing its potential in Re-ID pretraining.

연구 동기 및 목표

• ImageNet과 사람 Re-ID 데이터 간의 도메인 갭으로 인해 전통적인 ImageNet 사전 훈련의 효과가 제한되는 문제를 해결하기 위해.
• 시각적 표현 학습을 위해 텍스트 애너테이션을 활용하는 대체 사전 훈련 철학을 탐색하기 위해.
• 사람 Re-ID 이벤트에 특화된 대규모이자 다양한 세부 캡션 데이터셋(FineGPR-C)을 구축하기 위해.
• 이미지-캡션 쌍을 사용해 CNN을 처음부터 훈련하는 순수한 시각-의미 사전 훈련 프레임워크(VTBR)를 개발하기 위해.
• 의미 기반 사전 훈련이 도메인 전이 문제를 고려할 때 ImageNet 사전 훈련을 능가하거나 대체할 수 있으며, 더 높은 데이터 효율성을 보여주도록 증명하기 위해.

제안 방법

• 사람의 이미지를 수동으로 세밀하고 다양한 텍스트 기반 설명으로 애너테이션하여 FineGPR-C 캡션 데이터셋을 구축한다.
• 이미지-캡션 쌍을 기반으로 ResNet과 Transformer를 동시에 훈련하는 시각-언어 사전 훈련 프레임워크인 VTBR를 제안한다.
• ImageNet에 의존하지 않고 FineGPR-C 데이터셋의 텍스트 지도만을 사용해 CNN 백본을 처음부터 훈련한다.
• 사전 훈련 단계에서 학습된 시각적 특징을 최종 Re-ID 작업에 대한 백본으로 활용한다.
• 공유된 시각-의미 임베딩 공간에서 특징의 구분 능력을 향상시키기 위해 대비 학습(contrastive learning) 목적함수를 적용한다.
• 주의 맵(attention maps)을 분석하고 Grad-CAM 시각화를 통해 모델이 구분 가능한 신체 부위와 전반적인 맥락에 주목하고 있음을 검증한다.

실험 결과

연구 질문

• RQ1 고밀도 텍스트 캡션을 사용한 의미 기반 사전 훈련이 사람 재식별에서 ImageNet 사전 훈련의 성능을 능가하거나 대체할 수 있는가?
• RQ2 오직 텍스트 애너테이션에 기반한 사전 훈련 방법이 Re-ID에서 대규모 이미지 데이터셋의 필요성을 얼마나 줄일 수 있는가?
• RQ3 인간이 애너테이션한 세밀한 캡션에서 시각적 표현을 학습하면 Re-ID 작업에서 더 높은 특징의 구분 능력과 강건성 향상이 이루어지는가?
• RQ4 사전 훈련 데이터(FineGPR-C)와 최종 Re-ID 데이터셋 간의 도메인 갭이 성능에 미치는 영향은 무엇이며, 이를 완화할 수 있는가?
• RQ5 캡션 데이터에서 처음부터 훈련된 시각-언어 사전 훈련 프레임워크가 최소한의 데이터와 ImageNet 사전 훈련 없이도 경쟁적인 성능을 달성할 수 있는가?

주요 결과

• VTBR는 ImageNet 사전 훈련보다 최대 1.4배 적은 이미지를 사용함에도 불구하고 Market-1501, DukeMTMC-reID 등 다양한 벤치마크에서 경쟁적인 Re-ID 성능을 달성한다.
• 감독 및 비감독 설정 모두에서 ImageNet 사전 훈련을 능가하며, 의미 기반 지도의 효과성을 입증한다.
• Grad-CAM 시각화 결과, VTBR 모델이 더 많은 구분 가능한 신체 부위와 전반적인 맥락에 주목하고 있음을 확인하여 더 나은 특징 학습이 이루어졌음을 시사한다.
• FineGPR-C 데이터셋은 기존 사전 훈련 방법보다 더 높은 밀도의 지도를 제공하는 고품질의 세밀한 캡션을 가능하게 한다.
• 제안된 방법은 ImageNet 의존도를 줄이며, 기존 사전 훈련의 대안으로 개인정보 친화적이고 데이터 효율적인 접근을 제공한다.
• 결과적으로 의미 기반 사전 훈련은 도메인 전이 문제가 우려되는 상황에서 ImageNet 사전 훈련의 실현 가능하고 유망한 대안임을 시사한다.