[논문 리뷰] MMD-ReID: A Simple but Effective Solution for Visible-Thermal Person ReID

Chaitra Jambigi, Ruchit Rawal외 1명|ArXiv.org|2021. 11. 09.

Video Surveillance and Tracking Methods인용 수 8

한 줄 요약

MMD-ReID는 새로운 마진 기반 최대 평균 차이(MMD) 손실을 사용하여 가시 영상 및 열화상 영상 모odal 간의 분포 차이를 명시적으로 최소화함으로써 가시-열화상 인물 재식별을 위한 단순하면서도 효과적인 프레임워크를 제안한다. 복잡한 아키텍처나 파트 수준의 특징에 의존하지 않으며, SYSU-MM01에서 Rank-1 정확도를 5.07% 향상시키고 RegDB에서 4% 향상시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Learning modality invariant features is central to the problem of Visible-Thermal cross-modal Person Reidentification (VT-ReID), where query and gallery images come from different modalities. Existing works implicitly align the modalities in pixel and feature spaces by either using adversarial learning or carefully designing feature extraction modules that heavily rely on domain knowledge. We propose a simple but effective framework, MMD-ReID, that reduces the modality gap by an explicit discrepancy reduction constraint. MMD-ReID takes inspiration from Maximum Mean Discrepancy (MMD), a widely used statistical tool for hypothesis testing that determines the distance between two distributions. MMD-ReID uses a novel margin-based formulation to match class-conditional feature distributions of visible and thermal samples to minimize intra-class distances while maintaining feature discriminability. MMD-ReID is a simple framework in terms of architecture and loss formulation. We conduct extensive experiments to demonstrate both qualitatively and quantitatively the effectiveness of MMD-ReID in aligning the marginal and class conditional distributions, thus learning both modality-independent and identity-consistent features. The proposed framework significantly outperforms the state-of-the-art methods on SYSU-MM01 and RegDB datasets. Code will be released at https://github.com/vcl-iisc/MMD-ReID

연구 동기 및 목표

• 인물 재식별에서 가시 영상와 열화상 영상 간의 큰 모달 갭 문제를 해결하기 위해.
• 가시 및 열화상 특징 공간 간의 분포 차이를 명시적으로 줄이는 단순하면서도 효과적인 방법을 개발하기 위해.
• 대부분의 특징 학습이나 복잡한 아키텍처 모듈에 의존하지 않고 모달 불변성 및 신원 일致성 특징 학습을 향상시키기 위해.
• 여러 최신 기술 수준의 기반 모델 및 데이터셋에 대한 일반화 능력을 입증하기 위해.
• 기존의 복잡한 방법에 비해 계산 비용이 낮고 학습 오버헤드가 최소한인 대안을 제공하기 위해.

제안 방법

• 프레임워크는 가시 영상 및 열화상 영상에서 전역 특징을 추출하기 위해 이중 스트림 시앙세 네트워크 아키텍처를 사용한다.
• 가시 및 열화상 샘플의 클래스 조건부 특징 분포 간의 차이를 명시적으로 최소화하는 새로운 마진 기반 MMD-ID 손실을 도입한다.
• 손실 함수는 분포 간 거리 측정 도구인 최대 평균 차이(MMD)에 기반하며, 과적합 및 특징 열화를 방지하기 위해 마진 제약 조건을 적용한다.
• 이 방법은 파트 수준 또는 주의 기반 모듈이 필요 없이 전역 특징에만 기반한다.
• 표준 ReID 손실 함수인 교차 엔트로피 및 트리플릿 손실과 호환되며, 기존 기반 모델에 쉽게 통합할 수 있다.
• 학습 과정에는 내부 클래스 및 외부 클래스 분포 간의 분리 정도를 제어하는 마진 하이퍼파rameter(ρ)가 포함되어 있어 분류 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 MMD를 통한 명시적 분포 차이 감소가 교차 모달 인물 재식별 성능 향상에 기여하는가?
• RQ2 표준 MMD에 비해 마진 기반 MMD 설정이 VT-ReID에서 과적합 및 특징 열화를 완화하는가?
• RQ3 파트 수준 또는 주의 기반 모듈이 포함된 복잡한 아키텍처에 비해 단순한 전역 특징 기반 방법이 VT-ReID에서 더 우수한 성능을 낼 수 있는가?
• RQ4 MMD-ReID는 표준 벤치마크에서 다양한 최신 기술 수준의 ReID 기반 모델에 대해 어떻게 일반화되는가?
• RQ5 표준 트리플릿 및 교차 엔트로피 손실에 비해 제안된 마진 기반 MMD-ID 손실의 계산 비용과 학습 효율성은 어떠한가?

주요 결과

• SYSU-MM01 데이터셋에서 MMD-ReID는 Rank-1 정확도 88.4%를 달성하여 이전 최신 기술 수준보다 5.07% 향상되었다.
• RegDB 데이터셋에서 MMD-ReID는 Rank-1 정확도 78.6%를 기록하여 이전 최신 기술 수준보다 4% 향상되었다.
• T-SNE 시각화 결과 MMD-ReID는 같은 신원의 가시 및 열화상 특징을 특징 공간에서 더욱 가깝게 모으는 데 성공하여 밀도 높고 겹치는 군집을 형성하였다.
• 세 가지 다른 최신 기술 수준의 기반 모델인 AGW, DGTL, HcTri에 통합되었을 때도 경쟁적인 성능을 유지하여 강력한 일반화 능력을 입증하였다.
• 학습 시간은 표준 교차 엔트로피 및 교차 엔트로피 + Hc-Tri 기반 모델에 비해 약 1시간만 증가하여 최소한의 계산 오버헤드를 보였다.
• 제거 실험 결과 마진 기반 MMD-ID 손실이 표준 MMD-ID보다 특징 열화 방지 및 일반화 능력 향상에 더 효과적임을 확인하였다.