[논문 리뷰] Beyond Part Models: Person Retrieval with Refined Part Pooling (and a Strong Convolutional Baseline)

Yifan Sun, Liang Zheng외 3명|arXiv (Cornell University)|2017. 11. 26.

Video Surveillance and Tracking Methods참고 문헌 42인용 수 152

한 줄 요약

이 논문은 uniform part partitioning을 이용한 사람 재식별의 강력한 합성곱 기반 기본값인 PCB와 이상치 특징을 재배치하여 파트 내 일관성을 개선하는 Refined Part Pooling (RPP)를 도입하여, 포즈 cue 없이 Market-1501, DukeMTMC-reID, CUHK03에서 최첨단 성능을 달성한다.

ABSTRACT

Employing part-level features for pedestrian image description offers fine-grained information and has been verified as beneficial for person retrieval in very recent literature. A prerequisite of part discovery is that each part should be well located. Instead of using external cues, e.g., pose estimation, to directly locate parts, this paper lays emphasis on the content consistency within each part. Specifically, we target at learning discriminative part-informed features for person retrieval and make two contributions. (i) A network named Part-based Convolutional Baseline (PCB). Given an image input, it outputs a convolutional descriptor consisting of several part-level features. With a uniform partition strategy, PCB achieves competitive results with the state-of-the-art methods, proving itself as a strong convolutional baseline for person retrieval. (ii) A refined part pooling (RPP) method. Uniform partition inevitably incurs outliers in each part, which are in fact more similar to other parts. RPP re-assigns these outliers to the parts they are closest to, resulting in refined parts with enhanced within-part consistency. Experiment confirms that RPP allows PCB to gain another round of performance boost. For instance, on the Market-1501 dataset, we achieve (77.4+4.2)% mAP and (92.3+1.5)% rank-1 accuracy, surpassing the state of the art by a large margin.

연구 동기 및 목표

• 외부 포즈 큐 없이 사람 검색을 위한 판별적 파트 정보 특징 학습 의욕화.
• conv-layer 출력의 균일한 분할을 통해 파트 수준 특징을 추출하도록 PCB를 제안.
• 이상치를 재배치해 파트 내 일관성을 강화하는 Refined Part Pooling (RPP) 도입.
• PCB + RPP가 주요 re-ID 벤치마크에서 새로운 최첨단 결과를 달성함을 시연.

제안 방법

• PCB는 전역 풀링을 대체하고 conv 특성 맵의 균일한 수평 분할에 이어 파트별 분류기와 최종 파트 기술자의 연결된 벡터를 생성합니다.
• PCB는 마지막 공간 다운샘플링을 보존하여 파트의 세분화를 높인 백본(예: ResNet-50)을 사용하고, 각 스트라이프를 벡터로 풀링해 차원을 축소하고 자체 FC+Softmax 분기로 분류합니다.
• RPP는 파트 점수에 대해 Softmax를 사용하여 각 로컬 특성을 p개의 파트 중 하나에 할당하는 파트 분류기를 도입하고, 파트별로 특징을 샘플링해 스트라이프 수준의 분할을 정제합니다.
• 유도된 학습 절차는 균일한 분할로 시작해 파트 분류기를 추가하고, 두 번째 단계에서 백본을 고정해 파트 분류기를 학습시키며, 마지막으로 전체 네트워크를 미세조정합니다.
• 비독립적 파트 손실과 비공유 분류기 매개변수가 discriminaive한 파트 특징에 이롭다는 것을 비교해 보여줍니다.

실험 결과

연구 질문

• RQ1 균일 분할된 파트 분할이 포즈나 영역 제안 없이 사람 재식별에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 학습된 파트 분류기를 이용한 분할 개선(RPP)이 파트 내 일관성과 전반적 검색 지표를 향상시키는가?
• RQ3 PCB+RPP가 표준 re-ID 벤치마크에서 주의(attention) 기반 또는 포즈 안내 파트 분할 방법과 비교해 어떤 차이가 있는가?

주요 결과

모델	특징	차원	Market-1501 R-1	Market-1501 R-5	Market-1501 R-10	Market-1501 mAP	DukeMTMC-reID R-1	DukeMTMC-reID R-5	DukeMTMC-reID R-10	DukeMTMC-reID mAP	CUHK03 R-1	CUHK03 R-5	CUHK03 R-10	CUHK03 mAP
IDE	pool5	2048	85.3	94.0	96.3	68.5	73.2	84.0	87.6	52.8	43.8	62.7	38.9
IDE	FC	256	83.8	93.1	95.8	67.7	72.4	83.0	87.1	51.6	43.3	62.5	38.3
Variant 1	G	12288	86.7	95.2	96.5	69.4	73.9	84.6	88.1	53.2	43.6	62.9	71.3	38.8
Variant 1	H	1536	85.6	94.3	96.3	68.3	72.8	83.3	87.2	52.5	44.1	63.0	71.5	39.1
Variant 2	G	12288	91.2	96.6	97.7	75.0	80.2	88.8	91.3	62.8	52.6	72.4	80.9	45.8
Variant 2	H	1536	91.0	96.6	97.6	75.3	80.0	88.1	90.4	62.6	54.0	73.7	81.4	47.2
PCB	G	12288	92.3	97.2	98.2	77.4	81.7	89.7	91.9	66.1	59.7	77.7	85.2	53.2
PCB	H	1536	92.4	97.0	97.9	77.3	81.9	89.4	91.6	65.3	61.3	78.6	85.6	54.2
PCB+RPP	G	12288	93.8	97.5	98.5	81.6	83.3	90.5	92.5	69.2	62.8	79.8	86.8	56.7
PCB+RPP	H	1536	93.1	97.4	98.3	81.0	82.9	90.1	92.3	68.5	63.7	80.6	86.9	57.5

• PCB(균일 분할)는 글로벌 기술자 특성 기반 기준선에 비해 상당한 이점을 제공하여 사람 re-ID를 위한 강력한 합성곱 기준선을 설정합니다.
• RPP는 이상치를 가장 유사한 파트로 재배치해 파트 내 일관성을 높이고 성능을 추가로 향상시켜 mAP를 증가시킵니다.
• PCB+RPP는 Market-1501(mAP 81.6, Rank-1 93.1), DukeMTMC-reID(mAP 69.2, Rank-1 83.7), CUHK03(mAP 57.5, Rank-1 63.7)에서 re-ranking 없이 최첨단 결과를 달성합니다.
• 파트 분류기에 대한 유도 학습은 필수적이며, 유도 없이 주의-유사 동작(attention-like behavior)은 열등한 결과를 낳습니다.
• 파트 분류기에 대해 FC 매개변수를 공유하는 것은 성능에 해를 끼치며, 파트별로 분리된 분류기가 더 바람직합니다.
• IDE 기준선과 비교할 때, PCB는 데이터셋 전체에 걸쳐 의미 있는 mAP 개선을 제공합니다(예: Market-1501: 68.5→77.4 mAP; Duke: 52.8→66.1 mAP).