[논문 리뷰] High-Order Information Matters: Learning Relation and Topology for Occluded Person Re-Identification

Guan’an Wang, Shuo Yang외 7명|arXiv (Cornell University)|2020. 03. 18.

Video Surveillance and Tracking Methods참고 문헌 42인용 수 43

한 줄 요약

고차 정보 프레임워크를 occluded ReID에 도입하여 적응형 방향 그래프 컨볼루션과 그래프 매칭을 통한 교차 이미지 토폴로지로 이미지 내 관계를 모델링하고 강건한 유사도 추정을 생산한다.

ABSTRACT

Occluded person re-identification (ReID) aims to match occluded person images to holistic ones across dis-joint cameras. In this paper, we propose a novel framework by learning high-order relation and topology information for discriminative features and robust alignment. At first, we use a CNN backbone and a key-points estimation model to extract semantic local features. Even so, occluded images still suffer from occlusion and outliers. Then, we view the local features of an image as nodes of a graph and propose an adaptive direction graph convolutional (ADGC)layer to pass relation information between nodes. The proposed ADGC layer can automatically suppress the message-passing of meaningless features by dynamically learning di-rection and degree of linkage. When aligning two groups of local features from two images, we view it as a graph matching problem and propose a cross-graph embedded-alignment (CGEA) layer to jointly learn and embed topology information to local features, and straightly predict similarity score. The proposed CGEA layer not only take full use of alignment learned by graph matching but also re-place sensitive one-to-one matching with a robust soft one. Finally, extensive experiments on occluded, partial, and holistic ReID tasks show the effectiveness of our proposed method. Specifically, our framework significantly outperforms state-of-the-art by6.5%mAP scores on Occluded-Duke dataset.

연구 동기 및 목표

• 가려진 사람 ReID를 심각한 가려짐 및 정렬 오해 문제로 동기 부여한다.
• 그래프 기반 접근으로 로컬 특징 간의 고차 관계를 학습하는 프레임워크를 제안한다.
• 하나의 강제적인 1대1 매칭 없이도 두 이미지의 강건한 정렬을 가능하게 하는 교차 그래프 토폴로지 모듈을 제안한다.
• 고차 정보가 가려진, 부분적 및 전체적 ReID 데이터셋에서 유의미한 성능 향상을 준다는 것을 증명한다.

제안 방법

• CNN 백본과 키 포인트 추정 모델을 사용하여 키 포인트 영역에서 의미론적 로컬 특징을 추출한다.
• 로컬 특징을 그래프 노드로 모델링하고 의미 없는 메시지 전달을 학습하고 억제하기 위해 Adaptive-Directed Graph Convolutional (ADGC) 계층을 적용한다.
• 토폴로지 정보를 그래프 매칭을 통해 임베딩하는 Cross-Graph Embedded-Alignment (CGEA) 계층으로 두 이미지를 정렬하고 유사도를 예측한다.
• 이미지 쌍 간의 유사도 예측을 감독하기 위한 검증 손실과 함께 엔드-투-엔드 학습을 수행한다.
• 관계 기반 유사도와 토폴로지 기반 유사도를 최종 스칼라 점수로 융합하여 랭킹을 위한 점수를 생성한다.

실험 결과

연구 질문

• RQ1 고차 관계 정보가 그래프 기반 메시지 전달을 통해 가려진 영역 특징을 보완하여 Occluded ReID에서 판별성을 향상시킬 수 있는가?
• RQ2 그래프 매칭을 통한 교차 그래프 토폴로지 학습이 가려지거나 부분적인 시나리오에서 하드 1대1 매칭보다 강건하고 소프트한 정렬을 제공하는가?
• RQ3 제안된 ADGC와 CGEA 계층이 가려진, 부분적 및 전체적 ReID 벤치마크에서 측정 가능한 향상을 제공하는가?
• RQ4 전체 HOReID 프레임워크가 최첨단 방법과 비교해 가려진, 부분적 및 전체적 데이터셋에서 어떻게 성능을 나타내는가?

주요 결과

• HOReID는 Occluded-Duke에서 Rank-1 55.1 및 mAP 43.8로 최첨단을 능가한다.
• Occluded-ReID에서 HOReID는 Rank-1 80.3 및 mAP 70.2를 달성한다.
• 어블레이션 실험에서 의미론적 특징, 고차 관계 및 토폴로지 모듈의 추가가 이점을 제공함을 보여준다(Rank-1: 49.9 → 55.1).
• ADGC는 잡음이 많은 특징을 효과적으로 억제하면서 의미 있는 특징을 촉진하여 강건성을 향상시킨다.
• CGEA는 강건하고 소프트한 교차 이미지 정렬을 가능하게 하고 최종 유사도 예측을 개선한다.