[논문 리뷰] AttKGCN: Attribute Knowledge Graph Convolutional Network for Person Re-identification

Bo Jiang, Xixi Wang외 1명|arXiv (Cornell University)|2019. 11. 24.

Video Surveillance and Tracking Methods참고 문헌 44인용 수 4

한 줄 요약

이 논문은 사람 재식별을 위한 새로운 엔드 투 엔드 프레임워크인 AttKGCN을 제안한다. 이 프레임워크는 속성 지식 그래프 컨볼루션 네트워크와 시각적 특징 학습을 통합한다. 방향성 있는 속성 지식 그래프를 통해 속성 동시 발생 의존성을 모델링하고, 그래프 컨볼루션 네트워크를 활용해 상호의존적 속성 분류를 수행함으로써, 기준 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며, 속성 예측 및 Re-ID 정확도를 크게 향상시킨다.

ABSTRACT

Discriminative feature representation of person image is important for person re-identification (Re-ID) task. Recently, attributes have been demonstrated beneficially in guiding for learning more discriminative feature representations for Re-ID. As attributes normally co-occur in person images, it is desirable to model the attribute dependencies to improve the attribute prediction and thus Re-ID results. In this paper, we propose to model these attribute dependencies via a novel attribute knowledge graph (AttKG), and propose a novel Attribute Knowledge Graph Convolutional Network (AttKGCN) to solve Re-ID problem. AttKGCN integrates both attribute prediction and Re-ID learning together in a unified end-to-end framework which can boost their performances, respectively. AttKGCN first builds a directed attribute KG whose nodes denote attributes and edges encode the co-occurrence relationships of different attributes. Then, AttKGCN learns a set of inter-dependent attribute classifiers which are combined with person visual descriptors for attribute prediction. Finally, AttKGCN integrates attribute description and deeply visual representation together to construct a more discriminative feature representation for Re-ID task. Extensive experiments on several benchmark datasets demonstrate the effectiveness of AttKGCN on attribute prediction and Re-ID tasks.

연구 동기 및 목표

• 자세, 조명, 가림 등 큰 외관 변화가 존재하는 상황에서도 분류 가능한 사람 재식별 특징을 학습하는 데 도전한다.
• 기존 방법에서 종종 忽시되는 사람 속성 간 동시 발생 관계를 활용하여 속성 예측 및 Re-ID 성능을 향상시킨다.
• 속성 학습과 시각적 표현 학습을 하나의 엔드 투 엔드 프레임워크로 통합하여 양쪽 작업을 함께 최적화한다.
• 속성 간 동시 발생 패턴을 방향성 있는 간선으로 표현하는 새로운 속성 지식 그래프(AttKG)를 개발한다.
• 그래프 컨볼루션을 통해 구조화된 속성 의존성을 통합함으로써 속성 인식 및 사람 재식별 정확도가 향상됨을 입증한다.

제안 방법

• 노드가 속성(예: 'Female', 'Bag')를 나타내고, 간선이 속성 쌍 간에 학습된 동시 발생 확률을 인코딩하는 방향성 있는 속성 지식 그래프(AttKG)를 구축한다.
• AttKG의 이웃 정보를 집계하여 상호의존적 속성 분류기를 학습하는 그래프 컨볼루션 네트워크(GCN) 모듈을 활용한다.
• GCN 기반의 속성 분류기 출력 결과를 사전에 학습된 CNN 백본에서 추출한 깊이 있는 시각적 특징과 통합하여 통합된 분류 가능한 사람 표현을 생성한다.
• 각 속성이 최종 표현에 기여하는 정도를 그 신뢰도와 관련성에 따라 동적으로 조정하는 속성 재가중 모듈을 적용한다.
• Re-ID 분류 손실과 속성 예측 교차 엔트로피 손실을 조합한 다중 작업 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련시킨다.
• 공동 최적화 중 Re-ID와 속성 예측 손실의 기여도를 조절하기 위해 학습 가능한 파라미터 λ를 사용한다.

실험 결과

연구 질문

• RQ1 지식 그래프를 통해 속성 동시 발생 의존성을 모델링하면 사람 재식별에서 속성 예측 성능이 향상되는가?
• RQ2 딥 Re-ID 모델에 그래프 기반 속성 학습 모듈을 통합하면 더 분류 능력이 뛰어난 시각적 표현이 도출되는가?
• RQ3 제안된 AttKGCN 프레임워크는 mAP 및 Rank-1 정확도 측면에서 최신 기술 수준의 속성 유도 Re-ID 방법들과 비교해 어떻게 성능을 내는가?
• RQ4 속성 재가중 모듈이 최종 Re-ID 성능과 속성 예측 신뢰도에 미치는 영향은 어떠한가?
• RQ5 AttKGCN 모델은 손실 균형 가중치 λ 및 GCN 레이어 수와 같은 하이퍼파rameter에 대해 얼마나 민감한가?

주요 결과

• Market-1501 데이터셋에서 AttKGCN은 Rank-1 94.4% 및 mAP 85.5%를 달성하여 속성 학습을 하지 않는 베이스라인 모델보다 뛰어난 성능을 보였다.
• DukeMTMC-reID에서 AttKGCN은 Rank-1 87.8% 및 mAP 77.4%를 기록하여 여러 기준 데이터셋에서 일관된 성능 향상을 보였다.
• 하이퍼파rameter λ에 대해 안정적인 성능을 보였으며, 4~6 범위에서 안정적인 성능을 유지했고, λ=5에서 최적의 성능을 달성했다.
• 제거 실험 결과, GCN 기반 속성 모듈과 재가중 메커니즘 둘 다 필수적임을 확인했으며, 둘 중 하나를 제거하면 성능이 크게 떨어졌다.
• AttKGCN의 속성 예측 정확도는 APR 및 AANet와 같은 경쟁 방법들보다 뛰어나며, 특히 모든 속성의 평균 정확도에서 뛰어난 성능을 보였다.
• 시각화 결과, AttKGCN는 기준 모델 대비 각 정체성에 대해 더 명확하게 분리된 특징 임베딩을 생성함으로써 더 강력한 분류 능력을 보여주었다.