[논문 리뷰] Pedestrian re-identification based on Tree branch network with local and global learning

Hui Li, Meng Yang외 3명|arXiv (Cornell University)|2019. 03. 31.

Video Surveillance and Tracking Methods참고 문헌 23인용 수 5

한 줄 요약

이 논문은 CNN 기반 모델의 특징 맵을 계층적이고 군집적인 방식으로 분할함으로써 전역 및 국소 특징을 동시에 학습하는 트리 브랜치 네트워크(TBN)를 제안한다. 이 방법은 Market-1501, CUHK03, DukeMTMC에서 최신 기준 성능을 달성하며, 이전 방법 대비 mAP에서 최대 1.4% 향상되고 Rank-1 정확도에서 최대 1.6% 향상되며, 특히 재정렬(re-ranking)과 조합했을 때 두드러진 성능 향상을 보인다.

ABSTRACT

Deep part-based methods in recent literature have revealed the great potential of learning local part-level representation for pedestrian image in the task of person re-identification. However, global features that capture discriminative holistic information of human body are usually ignored or not well exploited. This motivates us to investigate joint learning global and local features from pedestrian images. Specifically, in this work, we propose a novel framework termed tree branch network (TBN) for person re-identification. Given a pedestrain image, the feature maps generated by the backbone CNN, are partitioned recursively into several pieces, each of which is followed by a bottleneck structure that learns finer-grained features for each level in the hierarchical tree-like framework. In this way, representations are learned in a coarse-to-fine manner and finally assembled to produce more discriminative image descriptions. Experimental results demonstrate the effectiveness of the global and local feature learning method in the proposed TBN framework. We also show significant improvement in performance over state-of-the-art methods on three public benchmarks: Market-1501, CUHK-03 and DukeMTMC.

연구 동기 및 목표

• 기존의 깊이 있는 부분 기반 모델이 국소 표현과 함께 전역 특징을 충분히 활용하지 못하는 한계를 해결한다.
• 자세나 관절점 라벨과 같은 추가적인 감독 정보 없이도 계층적이고 군집적인 방식으로 전반적인 특징을 계층적으로 학습할 수 있는 프레임워크를 개발한다.
• 국소 부분 수준의 특징과 전역적 전반적 특징을 효과적으로 융합하여 사람 재식별 성능을 향상시킨다.
• 표준 벤치마크에서의 광범위한 실험을 통해 전역 및 국소 특징 학습의 우수성을 입증한다.

제안 방법

• TBN 프레임워크는 CNN 기반 모델의 특징 맵을 반복적으로 분할하여 트리 구조를 형성하는 다수의 계층적 브랜치를 생성한다.
• 각 분할된 브랜치는 다양한 해상도의 세밀한 특징을 학습하기 위해 버티브 모듈을 통해 처리된다.
• 계층적 설계 덕분에 낮은 수준에서는 전역적 맥락을, 높은 수준에서는 국소 세부 정보를 보다 정교하게 학습할 수 있다.
• 모든 브랜치의 특징는 최종적으로 융합되어 보다 통합적이고 분류 능력이 뛰어난 이미지 표현을 형성한다.
• 이 방법은 관절점 검출이나 자세 추정과 같은 추가적인 감독 정보가 필요 없으며, 오직 엔드 투 엔드 학습에 의존한다.
• 추론 후 재정렬 연산을 적용하여 성능을 추가로 향상시키며, 특히 도전적인 데이터셋에서 뚜렷한 성능 향상을 보인다.

실험 결과

연구 질문

• RQ1 외부 레이블(예: 키포인트)이 없는 조건에서 전역 및 국소 특징을 동시에 학습하는 것이 사람 재식별 성능 향상에 기여할 수 있는가?
• RQ2 특징 분할에 대해 균일하거나 고정된 분할 전략과 비교했을 때, 계층적 트리 브랜치 구조는 어떤가?
• RQ3 제안된 TBN 프레임워크는 Market-1501, CUHK03, DukeMTMC와 같은 표준 벤치마크에서 최신 기준 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 TBN 프레임워크에 재정렬을 통합했을 때 모든 데이터셋에서 성능 향상이 추가로 발생하는가?

주요 결과

• 재정렬을 적용한 결과, Market-1501 데이터셋에서 TBN은 Rank-1 정확도 95.4%와 mAP 91.3%를 달성하여 비교된 모든 이전 방법을 능가한다.
• CUHK03에서 TBN은 레이블링 설정에서 Rank-1 72.3%와 mAP 68.5%를 기록하며, 재정렬 없이도 PCB+RPP보다 각각 5.5%와 7.5% 높게 성능을 내었다.
• DukeMTMC-reID에서 TBN은 Rank-1 85.5%와 mAP 73.0%를 기록하여 SphereReID보다 각각 1.6%와 4.5% 높고, GP-reid보다 Rank-1에서 0.3%, mAP에서 0.2% 높은 성능을 보였다.
• 재정렬을 적용한 결과, DukeMTMC에서 TBN은 Rank-1 89.2%와 mAP 85.1%를 달성하여 모든 벤치마크에서 일관되고 뚜렷한 성능 향상을 보였다.
• 제거 실험 결과, 동일한 백본(ResNet-50)을 사용한 기준 모델 대비 제안된 국소 및 전역 특징 학습 전략이 mAP를 1.4% 향상시키며, 계층적 분할 전략의 효과를 입증했다.
• 모델는 강력한 일반화 능력을 보이며, 추가적인 감독 정보나 복잡한 후처리 없이도 모든 세 가지 공개 벤치마크에서 최신 기준 성능을 달성했다.