[논문 리뷰] Homogeneous and Heterogeneous Relational Graph for Visible-infrared Person Re-identification

Yujian Feng, Feng Chen외 5명|arXiv (Cornell University)|2021. 09. 18.

Video Surveillance and Tracking Methods참고 문헌 31인용 수 7

한 줄 요약

이 논문은 가시광선 및 적외선 영상 간의 동일 모odal 간 관계(가시광선 또는 적외선 영상 내부)와 이질적 모달 간 상관관계(가시광선 및 적외선 특징 간)를 모두 모델링하는 그래프 기반 프레임워크를 제안한다. 전역적 신원 표현을 위한 동일 구조 그래프(HOSG)와 경로 탐색 기반의 이질적 그래프 정렬 모듈(HGAM)을 도입함으로써 이질적 모달 간 매칭을 수행하고, 모달 간 불변성을 향상시키기 위해 교차 모달 교차상관관계(CMCC) 손실을 추가함으로써 최신 기술 수준(SoTA)의 성능을 달성하였으며, SYSU-MM01 및 RegDB 데이터셋에서 각각 Rank-1/mAP 기준으로 이전 방법들보다 13.73% 및 9.45% 향상되었다.

ABSTRACT

Visible-infrared person re-identification (VI Re-ID) aims to match person images between the visible and infrared modalities. Existing VI Re-ID methods mainly focus on extracting homogeneous structural relationships in an image, i.e. the relations between local features, while ignoring the heterogeneous correlation of local features in different modalities. The heterogeneous structured relationship is crucial to learn effective identity representations and perform cross-modality matching. In this paper, we model the homogenous structural relationship by a modality-specific graph within individual modality and then mine the heterogeneous structural correlation with the modality-specific graph of visible and infrared modality. First, the homogeneous structured graph (HOSG) mines one-vs.-rest relation between an arbitrary node (local feature) and all the rest nodes within a visible or infrared image to learn effective identity representation. Second, to find cross-modality identity-consistent correspondence, the heterogeneous graph alignment module (HGAM) further measures the relational edge strength between local node features of two modalities with routing search way. Third, we propose the cross-modality cross-correlation (CMCC) loss to extract the modality invariance of feature representations of visible and infrared graphs. CMCC computes the mutual information between modalities and expels semantic redundancy. Extensive experiments on SYSU-MM01 and RegDB datasets demonstrate that our method outperforms state-of-the-arts with a gain of 13.73\% and 9.45\% Rank1/mAP. The code is available at https://github.com/fegnyujian/Homogeneous-and-Heterogeneous-Relational-Graph.

연구 동기 및 목표

• 기존의 VI Re-ID 방법들이 가시광선 및 적외선 특징 간의 상호 모달 간 관계(이질적 상관관계)를 忽시하고, 오직 동일 모달 간 관계(동질적 관계)에만 집중한다는 한계를 해결하기 위해.
• 각 모달 내 국소 특징 간의 한 명 대 다수 관계를 동일 구조 그래프(HOSG)를 통해 모델링하여 신원 표현을 향상시키기 위해.
• 경로 탐색 기반의 이질적 그래프 정렬 모듈(HGAM)을 통해 가시광선 및 적외선 특징 간 가장 분류 능력이 뛰어난 노드 대 노드 대응 관계를 식별함으로써 효과적인 이질적 모달 간 정렬을 가능하게 하기 위해.
• 모달 간 특징의 중복을 줄이고 모달 간 불변 표현을 강화하기 위해, 두 모달 간 상호 정보를 최대화하는 교차 모달 교차상관관계(CMCC) 손실을 도입하기 위해.

제안 방법

• HOSG는 각 모달(가시광선 또는 적외선) 내에서 각 국소 특징 노드가 나머지 모든 노드와의 관계를 한 명 대 다수 집약 방식으로 모델링함으로써 그래프를 구성하여 전역적 신원 표현을 향상시킨다.
• HGAM은 이질적 모달 간 노드 간 최소 에너지 경로를 계산하기 위해 경로 탐색 알고리즘을 사용하여, 모든 가능한 간선을 평가하는 대신 가장 분류 능력이 뛰어난 이질적 모달 간 대응 관계를 식별한다.
• CMCC 손실은 가시광선 및 적외선 특징 표현 간의 상호 정보를 최대화하도록 설계되어, 모달 간 불변성을 촉진하고 의미적 중복을 감소시킨다.
• 전체 프레임워크는 HOSG, HGAM, CMCC 손실을 엔드 투 엔드로 통합하며, ResNet-50을 백본으로 사용하고 병합된 손실 목적함수를 통해 훈련된다.
• 모든 동일 및 이질적 관계를 표현하기 위해 2N×2N 인접 행렬을 활용하지만, 에너지가 최소화된 중요한 경로에 집중함으로써 계산을 최적화한다.
• 표준 VI Re-ID 벤치마크인 SYSU-MM01 및 RegDB에서 모델을 훈련하고 평가하며, 설계 선택 사항을 검증하기 위해 추론 분석 및 t-SNE 시각화를 수행한다.

실험 결과

연구 질문

• RQ1 가시광선 및 적외선 영상 내부의 동일 모달 간 구조적 관계를 효과적으로 모델링하여 VI Re-ID에서의 신원 표현을 향상시키는 방법은 무엇인가?
• RQ2 가시광선 및 적외선 모달 간 국소 특징을 정렬하여 일관된 신원 대응 관계를 수립하는 가장 효과적인 방법은 무엇인가?
• RQ3 경로 탐색 기반 방법이 모든 가능한 이질적 모달 간 간선을 평가하는 것보다 효율성과 분류 능력 측면에서 뛰어나게 성능을 높일 수 있는가?
• RQ4 전용 손실을 통해 두 모달 간 상호 정보를 최대화함으로써 특징의 불변성 향상과 중복 감소에 어느 정도 기여하는가?
• RQ5 HOSG, HGAM, CMCC 등의 개별 구성 요소가 이질적 모달 간 신원 재식별 성능 향상에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 방법은 SYSU-MM01 데이터셋에서 Rank-1 정확도 94.92% 및 mAP 94.58%를 달성하였으며, 이는 이전 최신 기술 수준(SoTA) 대비 Rank-1에서 13.73% 향상되고 mAP에서 9.45% 향상된 성능이다.
• HOSG 모듈만으로도 SYSU-MM01의 전 검색 모드에서 베이스라인 대비 Rank-1 정확도가 10.32% 향상되고 mAP가 8.96% 향상되었다.
• HGAM 모듈가 가장 큰 성능 향상을 기록하여 실내 검색 모드에서 Rank-1이 13.94% 향상되고 mAP가 9.89% 향상되어 이질적 모달 간 정렬의 효과성을 입증하였다.
• CMCC 손실은 실내 검색 모드에서 Rank-1을 12.00% 향상시키고 mAP를 9.65% 향상시켜, 모달 간 불변성 향상과 노이즈 감소에 기여하는 것으로 확인되었다.
• t-SNE 시각화 결과, 제안된 방법은 동일 신원의 특징을 더 단단히 군집화하고 다른 신원의 특징을 더 효과적으로 분리하는 것으로 확인되었다.
• 하이퍼파라미터 분석 결과 최적의 성능는 α = 0.05 및 γ = 1.0에서 달성되었으며, 다양한 설정에서 일관된 향상이 관찰되어 방법의 강건성을 입증하였다.