[논문 리뷰] Memory Regulation and Alignment toward Generalizer RGB-Infrared Person

Feng Chen, Fei Wu외 2명|arXiv (Cornell University)|2021. 09. 18.

Video Surveillance and Tracking Methods참고 문헌 36인용 수 5

한 줄 요약

이 논문은 RGB-적외선 신원 재식별에서 도메인 이탈 문제를 해결하기 위해 다중 분해능 메모리 조절 및 정렬(MG-MRA) 모듈을 제안한다. 이는 학습된 클래스 특징에 대한 모델의 과신을 감소시킴으로써 이루어지며, 다양한 의미적 분해능 수준에서 학습 가능한 전반적 구조적 프로토타입을 통합하고 메모리 확률을 통한 주의 조절을 통해 제로샷 일반화 성능을 향상시킨다. 다양한 하이퍼파라미터 설정에서도 일관된 성능 향상을 보이며, RegDB와 SYSU-MM01에서 최신 기준(SOTA) 성능을 달성한다.

ABSTRACT

The domain shift, coming from unneglectable modality gap and non-overlapped identity classes between training and test sets, is a major issue of RGB-Infrared person re-identification. A key to tackle the inherent issue -- domain shift -- is to enforce the data distributions of the two domains to be similar. However, RGB-IR ReID always demands discriminative features, leading to over-rely feature sensitivity of seen classes, extit{e.g.}, via attention-based feature alignment or metric learning. Therefore, predicting the unseen query category from predefined training classes may not be accurate and leads to a sub-optimal adversarial gradient. In this paper, we uncover it in a more explainable way and propose a novel multi-granularity memory regulation and alignment module (MG-MRA) to solve this issue. By explicitly incorporating a latent variable attribute, from fine-grained to coarse semantic granularity, into intermediate features, our method could alleviate the over-confidence of the model about discriminative features of seen classes. Moreover, instead of matching discriminative features by traversing nearest neighbor, sparse attributes, extit{i.e.}, global structural pattern, are recollected with respect to features and assigned to measure pair-wise image similarity in hashing. Extensive experiments on RegDB \cite{RegDB} and SYSU-MM01 \cite{SYSU} show the superiority of the proposed method that outperforms existing state-of-the-art methods. Our code is available in https://github.com/Chenfeng1271/MGMRA.

연구 동기 및 목표

• 모odal 갭과 미사용자 신원 클래스로 인한 RGB-적외선 ReID에서의 도메인 이탈 문제를 해결하기 위해.
• 학습된 트레이닝 클래스의 분류 특징에 대한 모델의 과신을 감소시켜 제로샷 일반화를 방해하는 요소를 제거하기 위해.
• 학습 가능한 다중 분해능 메모리 메커니즘을 도입하여 전반적 구조 패턴을 포착함으로써, 미사용자 신원에 대한 일반화 성능을 향상시키기 위해.
• 재튜닝 없이도 성능 향상을 이끌 수 있는 강건한, 하이퍼파라미터에 민감하지 않은 모듈을 제공하기 위해.

제안 방법

• 세분화된 의미적 분해능 수준에서 전반적 구조적 프로토타입을 나타내는 학습 가능한 잠재 속성 변수 $ m $ 를 명시적으로 모델링하는 확률적 그래픽 모델을 도입한다.
• 예측 헤드에 메모리 확률 $ p(m|x) $ 를 통합하여 학습된 클래스의 분류 특징에 대한 과신을 감소시킨다.
• 지역적 주의 신호 $ z $ 와 독립적으로 다양한 신원으로부터의 대표적인 구조 패턴을 저장하고 검색하기 위한 다중 분해능 메모리 백업을 사용한다.
• 세분화된 도메인 수준의 정보를 유지하고 의미적 붕괴를 방지하기 위해 전역 평균 풀링(GAP)을 메모리 보강 특징 표현으로 대체한다.
• 가장 가까운 이웃 매칭 대신 희소한 전반적 구조적 속성을 활용하여 쌍별 유사도 계산을 수행하는 수정된 트리플릿 손실 $ \mathcal{L}_{sem} $ 를 사용한다.
• 기존 ReID 프레임워크와의 호환성을 확보하기 위해 아키텍처의 대대적 개선 없이도 적용 가능한 플러그 앤 플레이 모듈로 MG-MRA 모듈을 설계한다.

실험 결과

연구 질문

• RQ1 학습된 클래스의 분류 특징에 대한 과신이 RGB-IR ReID에서 제로샷 일반화에 어떤 방식으로 악영향을 미치는가?
• RQ2 학습 가능한 다중 분해능 메모리 메커니즘이 과적합을 방지하기 위해 학습된 클래스의 신호에 대한 주의를 조절하는 데 효과적인가?
• RQ3 전반적 구조적 프로토타입을 통합함으로써 개방 집합 ReID에서 미사용자 신원에 대한 일반화 성능이 향상되는가?
• RQ4 제안된 MG-MRA 모듈이 훈련 중 하이퍼파라미터 변화에 대해 얼마나 강건한가?
• RQ5 MG-MRA는 재학습 없이도 기존 ReID 모델에 효과적으로 통합될 수 있는가?

주요 결과

• MG-MRA는 RegDB와 SYSU-MM01 데이터셋 모두에서 최신 기준(SOTA) 성능을 달성하며, 기존 SOTA 방법을 초월한다.
• SYSU-MM01에서 MG-MRA는 다양한 하이퍼파라미터 설정에서 HCT 기반 모델에 대해 2-3%의 정확도 향상을 기록하여 강건성을 입증한다.
• 시각화 결과 MG-MRA는 비분류적 영역에 대한 주의를 감소시키고 t-SNE에서 더 균형 잡히고 분산된 특징 분포를 유도함을 보여준다.
• 주의 히트맵은 MG-MRA가 훈련 세트에 특화된 분류적 영역에 대한 과도한 집중을 완화함으로써 일반화 성능을 향상시킨다는 것을 확인한다.
• 다양한 배치 크기와 학습률에서도 일관된 성능 향상을 유지함으로써, 하이퍼파라미터 튜닝에 대해 낮은 민감도를 보임을 확인한다.
• MG-MRA는 최적화 붕괴로 인해 전역 최대 풀링(GMP)을 사용하는 모델과 호환되지 않아 아키텍처 제약을 드러낸다.