[논문 리뷰] PH-GCN: Person Re-identification with Part-based Hierarchical Graph Convolutional Network

Bo Jiang, Xixi Wang외 1명|arXiv (Cornell University)|2019. 07. 20.

Video Surveillance and Tracking Methods참고 문헌 43인용 수 16

한 줄 요약

이 논문은 신체 부위 간의 공간적 관계를 계층적 그래프 구조를 통해 모델링함으로써 국소적, 전역적, 구조적 특징 학습을 통합하는 부분 기반 계층적 그래프 컨volution 신경망인 PH-GCN을 제안한다. 이 방법은 Market-1501, DukeMTMC-reID, CUHK03에서 최신 기준 성능을 달성하며, 각각 PCB 기준선 대비 mAP 향상률이 1.1%, 3.1%, 7.3%이다.

ABSTRACT

The person re-identification (Re-ID) task requires to robustly extract feature representations for person images. Recently, part-based representation models have been widely studied for extracting the more compact and robust feature representations for person images to improve person Re-ID results. However, existing part-based representation models mostly extract the features of different parts independently which ignore the relationship information between different parts. To overcome this limitation, in this paper we propose a novel deep learning framework, named Part-based Hierarchical Graph Convolutional Network (PH-GCN) for person Re-ID problem. Given a person image, PH-GCN first constructs a hierarchical graph to represent the pairwise relationships among different parts. Then, both local and global feature learning are performed by the messages passing in PH-GCN, which takes other nodes information into account for part feature representation. Finally, a perceptron layer is adopted for the final person part label prediction and re-identification. The proposed framework provides a general solution that integrates local, global and structural feature learning simultaneously in a unified end-to-end network. Extensive experiments on several benchmark datasets demonstrate the effectiveness of the proposed PH-GCN based Re-ID approach.

연구 동기 및 목표

• 기존의 부분 기반 Re-ID 모델이 각 부위를 독립적으로 다루며 공간적 및 구조적 관계를 忽略하는 한계를 해결하기 위해.
• 통합된 딥 러닝 프레임워크 내에서 국소적 외관, 전역적 맥락, 구조적 부위 관계를 통합함으로써 특징의 구분 능력을 향상시키기 위해.
• 그래프 컨volution 신경망을 활용해 관계 불변성을 포착하는 맥락 인식형, 엔드 투 엔드 학습 가능한 모델을 개발하기 위해.
• 자세, 조명, 가림, 변형 등의 외관 변화에 대해 신체 부위의 구조적 모델링을 통해 강건성을 확보하기 위해.

제안 방법

• 신체 부위 간의 쌍방향 관계를 표현하기 위해 계층적 그래프를 구성하며, 노드는 부위 특징, 간선은 공간적 근접성과 기하학적 구조를 인코딩한다.
• 그래프 컨volution 신경망(GCN)을 적용하여 노드 간 메시지를 전파하고, 이웃 부위의 정보를 집계함으로써 각 부위의 표현을 개선한다.
• 이중 수준의 계층적 그래프 구조를 사용: 국소 수준 그래프는 근접한 부위 이웃 관계를 모델링하고, 전역 수준 그래프에서는 전체 신체의 장거리 의존성을 포착한다.
• 학습 가능한 메시지 전달 메커니즘을 도입하며, GCN 집계에서 자기 특징과 이웃 특징 기여도를 균형 잡는 데 사용되는 학습 가능한 파라미터 ϵ 및 β를 사용한다.
• 최종 부위 표현을 퍼셉트론 레이어에 통합하여 엔드 투 엔드 학습과 사람 재식별 분류를 수행한다.
• 학습률 감소 전략을 적용한 SGD를 사용하여 전체 네트워크를 학습하며, 배치 크기 64, 수평 뒤집기 및 정규화를 포함한 데이터 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 계층적 그래프 구조를 통해 부위 간 공간적 관계를 모델링할 경우, 독립적인 부위 특징 추출에 비해 사람 재식별 성능 향상이 이루어지는가?
• RQ2 GCN를 통한 국소적, 전역적, 구조적 특징의 통합은 도전적인 조건 하에서 Re-ID의 구분 능력에 어떤 영향을 미치는가?
• RQ3 단일 수준 또는 평평한 그래프 구조에 비해 계층적 그래프 설계는 가림, 자세 변화, 외관 변화에 대해 얼마나 강건성을 향상시키는가?
• RQ4 제안된 PH-GCN 프레임워크는 다양한 난이도 수준의 Re-ID 벤치마크 간에 일반화 가능한가?

주요 결과

• Market-1501에서 PH-GCN은 랭크-1 정확도 93.5%와 mAP 79.0%를 달성하며, PCB 기준선 대비 각각 1.7%와 1.1% 향상되어 구조적 모델링의 유의미한 개선을 입증한다.
• DukeMTMC-reID에서 PH-GCN은 랭크-1 85.0%와 mAP 70.7%를 기록하며, PCB 대비 각각 5.4%와 3.1% 향상되었고, SGGNN 대비 추가로 2.5%와 3.9% 향상되었다.
• 도전적인 CUHK03 데이터셋에서 PH-GCN은 랭크-1 64.9%와 mAP 61.5%를 달성하며, PCB 대비 mAP 7.3%, 랭크-1 3.6% 향상되어 도메인 변동에 대한 강건성을 입증한다.
• 재랭킹 연산은 모든 데이터셋에서 일관되게 성능 향상시키며, PH-GCN+재랭킹은 CUHK03에서 mAP 73.3%와 랭크-1 70.6%를 달성한다.
• 단절 실험 결과, GCN 모듈 제거 시 성능 저하가 심각하게 발생함을 확인하여 메시지 전달의 필요성을 입증한다.
• 계층적 그래프 구조(PH-GCN)는 단일 레이어 그래프 변형(P-GCN)보다 우수한 성능을 보이며, 다중 수준의 구조적 모델링이 특징 학습을 향상시킴을 확인한다.