[논문 리뷰] RaSa: Relation and Sensitivity Aware Representation Learning for Text-based Person Search

Yang Bai, Min Cao외 6명|arXiv (Cornell University)|2023. 05. 23.

Multimodal Machine Learning Applications참고 문헌 55인용 수 6

한 줄 요약

RaSa는 텍스트 기반 인물 검색을 위한 새로운 표현 학습 프레임워크를 제안하며, 다중 모odal 표현 품질을 향상시키기 위해 관계 인식(RA) 및 민감도 인식(SA) 학습을 도입한다. 데이터 증강 하에서 강한 양성 쌍과 약한 양성 쌍을 구분하고, 단어 교체를 탐지함으로써 RaSa는 기존 방법보다 각각 CUHK-PEDES, ICFG-PEDES, RSTPReid에서 Rank@1 기준 6.94%, 4.45%, 15.35% 향상된 최신 기술 성능을 달성한다.

ABSTRACT

Text-based person search aims to retrieve the specified person images given a textual description. The key to tackling such a challenging task is to learn powerful multi-modal representations. Towards this, we propose a Relation and Sensitivity aware representation learning method (RaSa), including two novel tasks: Relation-Aware learning (RA) and Sensitivity-Aware learning (SA). For one thing, existing methods cluster representations of all positive pairs without distinction and overlook the noise problem caused by the weak positive pairs where the text and the paired image have noise correspondences, thus leading to overfitting learning. RA offsets the overfitting risk by introducing a novel positive relation detection task (i.e., learning to distinguish strong and weak positive pairs). For another thing, learning invariant representation under data augmentation (i.e., being insensitive to some transformations) is a general practice for improving representation's robustness in existing methods. Beyond that, we encourage the representation to perceive the sensitive transformation by SA (i.e., learning to detect the replaced words), thus promoting the representation's robustness. Experiments demonstrate that RaSa outperforms existing state-of-the-art methods by 6.94%, 4.45% and 15.35% in terms of Rank@1 on CUHK-PEDES, ICFG-PEDES and RSTPReid datasets, respectively. Code is available at: https://github.com/Flame-Chasers/RaSa.

연구 동기 및 목표

• 텍스트 기반 인물 검색에서 노이즈가 있는 약한 양성 쌍으로 인한 과적합 문제를 해결하기 위해.
• 모델이 단순히 불변성뿐 아니라 의미 있는 데이터 변환에 민감하도록 하여 표현의 강건성을 향상시키기 위해.
• 새로운 자기지도 학습 과제를 통해 텍스트 및 이미지 임베딩 간의 다중 모odal 정렬을 향상시키기 위해.
• 기본 텍스트 기반 인물 검색 벤치마크에서 최신 기술 성능을 달성하기 위해.

제안 방법

• 강한 양성 쌍과 약한 양성 쌍을 구분하기 위해 확률적 이미지-텍스트 매칭(p-ITM) 과제와 양성 관계 탐지(PRD) 과제를 포함한 관계 인식(RA) 학습을 도입한다.
• 민감도 인식(SA) 학습에서, 동적 변환을 위한 모멘타ム 기반 생성기(momentum-based generator)를 활용해 실제적인 단어 교체를 생성하고, 교체된 토큰 탐지(m-RTD) 과제를 수행한다.
• 대비 학습(CL)을 백본으로 사용하며, 학습 가능한 손실 가중치를 통한 다중 과제 최적화를 통해 RA 및 SA 과제를 통합한다.
• 학습 중 노이즈와 유용한 정보의 균형을 맞추기 위해 마스크 비율과 입력 확률을 적용하여 강건성과 일반화 능력을 최적화한다.
• 교체된 토큰 생성을 안정화하기 위해 모멘타ム 모델을 활용하며, 탐지 과제의 난이도를 점진적으로 높인다.
• 공유 인코더와 모멘타ム 업데이트된 키 네트워크를 갖춘 이중 브랜치 아키텍처를 사용하여 동적 증강을 통한 대비 학습을 가능하게 한다.

Figure 1: Illustration of (a) two types of positive relations for relation-aware learning, where the noise interference in the weak positive pairs is highlighted in red, (b) replaced token detection for sensitivity-aware learning, in which word replacement is used as the sensitive transformation and

실험 결과

연구 질문

• RQ1 텍스트 기반 인물 검색에서 약한 양성 쌍으로 인한 과적합 문제를 어떻게 줄일 수 있는가?
• RQ2 의미 있는 변환(예: 단어 교체)을 탐지하도록 학습하는 것이 불변성 초과의 표현 강건성 향상에 기여하는가?
• RQ3 자기지도 학습을 통한 인물 검색에서 동적 모멘타ム 기반 생성기를 사용할 경우 어떤 영향을 미치는가?
• RQ4 교체된 토큰 탐지에 대한 다양한 학습 전략이 최종 검색 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 미세한 차이와 거친 차이를 보이는 이미지-텍스트 검색 벤치마크 간에 얼마나 일반화되는가?

주요 결과

• RaSa는 이전 최신 기술 방법 대비 CUHK-PEDES 데이터셋에서 Rank@1 기준 6.94%의 절대적 향상을 달성했다.
• ICFG-PEDES 데이터셋에서는 가장 강력한 베이스라인 대비 Rank@1 기준 4.45% 향상되었다.
• RSTPReid 데이터셋은 가장 큰 성과를 보였으며, Rank@1 기준 15.35% 향상되어 도전적인 미세한 차이의 인물 검색에서 뛰어난 성능을 입증했다.
• 가장 높은 성능를 보인 변종인 m-RTD는 모멘타ム 생성기를 사용해 76.51%의 Rank@1 성능을 기록했으며, 온라인 생성기(75.99%) 및 고정 생성기(75.13%) 변종을 모두 초월했다.
• 절단 분석 결과 RA 및 SA 과제의 조합이 가장 높은 성능 향상을 가져왔으며, m-RTD는 가장 효과적인 토큰 교체 탐지 성능을 보였다.
• 하이퍼파rameter 분석 결과 최적의 성능는 p^w = 0.1(약한 양성 입력 확률), p^m = 0.3(마스크 비율), λ1 = λ2 = λ3 = 0.5(손실 가중치)에서 달성되었다.

Figure 2: Model architecture of RaSa. It consists of an image encoder, a text encoder and a cross-modal encoder. An intra- and cross-modal CL task is attached after the unimodal encoders for unimodal representation learning. RA and SA tasks are tied after the cross-modal encoders for multi-modal rep