[논문 리뷰] Beyond Part Models: Person Retrieval with Refined Part Pooling.

Yifan Sun, Liang Zheng외 3명|arXiv (Cornell University)|2017. 11. 26.

Video Surveillance and Tracking Methods인용 수 202

한 줄 요약

이 논문은 사람 검색 성능을 햖을 기반으로 한 특징 학습을 향상시키기 위해 Part-based Convolutional Baseline (PCB)와 Refined Part Pooling (RPP) 방법을 제안한다. PCB는 균일한 공간 분할을 통해 부분 특징을 생성하고, RPP는 이질적인 특징을 더 유사한 부분으로 재할당하여 부분 내 일관성을 향상시킨다. 이로 인해 Market-1501에서 77.4%+4.2% mAP와 92.3%+1.5% rank-1 성능을 기록하며 기존 최고 성능 기법을 초월한다.

ABSTRACT

Employing part-level features for pedestrian image description offers fine-grained information and has been verified as beneficial for person retrieval in very recent literature. A prerequisite of part discovery is that each part should be well located. Instead of using external cues, e.g., pose estimation, to directly locate parts, this paper lays emphasis on the content consistency within each part. Specifically, we target at learning discriminative part-informed features for person retrieval and make two contributions. (i) A network named Part-based Convolutional Baseline (PCB). Given an image input, it outputs a convolutional descriptor consisting of several part-level features. With a uniform partition strategy, PCB achieves competitive results with the state-of-the-art methods, proving itself as a strong convolutional baseline for person retrieval. (ii) A refined part pooling (RPP) method. Uniform partition inevitably incurs outliers in each part, which are in fact more similar to other parts. RPP re-assigns these outliers to the parts they are closest to, resulting in refined parts with enhanced within-part consistency. Experiment confirms that RPP allows PCB to gain another round of performance boost. For instance, on the Market-1501 dataset, we achieve (77.4+4.2)% mAP and (92.3+1.5)% rank-1 accuracy, surpassing the state of the art by a large margin.

연구 동기 및 목표

• 자세 추정과 같은 외부 정보에 의존하지 않고도 더 구분력 있는 부분 기반 특징을 학습함으로써 사람 검색 성능을 향상시키는 것.
• 균일하게 분할된 부분 내에서 이질적인 특징이 발생함으로써 부분 내 일관성이 떨어지고 특징 품질이 악화되는 문제를 해결하는 것.
• 콘텐츠 유사도 기반으로 유사하지 않은 특징을 더 관련성이 높은 부분으로 재할당하여 부분 수준 특징 표현을 향상시키는 방법을 개발하는 것.
• 기존 방법들을 능가하는 성능을 보이는 부분 기반 특징을 활용한 강력한 컨볼루션 기반 기준 모델을 구축하는 것.
• 정련된 풀링을 통한 부분 내 일관성 향상이 사람 검색 성능 향상에 크게 기여하는지 검증하는 것.

제안 방법

• 보행자 이미지의 특징 맵을 균일한 공간 부분으로 나누어 전역 평균 풀링을 통해 부분 수준 특징을 추출하는 Part-based Convolutional Baseline (PCB)를 제안한다.
• 특징 맵을 균일한 크기의 영역으로 나누는 균일한 분할 전략을 적용하여 사람 검색을 위한 엔드 투 엔드 학습이 가능하도록 한다.
• 이질적인 특징(해당 부분과 일관성이 낮은 특징)을 특징 임베딩 거리 기반으로 가장 유사한 부분으로 재할당하는 Refined Part Pooling (RPP)을 도입한다.
• 각 이질적 특징에 대해 부분 특징 간 코사인 유사도를 계산하여 가장 가까운 부분을 결정함으로써 각 부분 표현의 구분력을 향상시킨다.
• 특징 추출 후 후처리 단계로 RPP를 통합하여 백본 네트워크 아키텍처를 수정하지 않고도 부분 특징을 정련한다.
• 표준 사람 검색 손실 함수를 사용하여 PCB 네트워크를 엔드 투 엔드로 학습하고, 추론 단계에서 RPP를 적용하여 특징 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 외부 감독 없이도 단순한 균일한 분할 전략이 사람 검색을 위한 경쟁적인 부분 수준 특징을 생성할 수 있는가?
• RQ2 균일하게 분할된 부분 내 이질적 특징이 얼마나 심각하게 특징 품질과 검색 성능을 떨어뜨리는가?
• RQ3 이질적 특징을 더 유사한 부분으로 재할당하는 것이 부분 내 일관성과 전체 검색 정확도를 향상시킬 수 있는가?
• RQ4 콘텐츠 기반 재할당을 통해 부분 특징을 정련하는 것이 기존 풀링 방법에 비해 측정 가능한 성능 향상을 이끌 수 있는가?
• RQ5 제안된 RPP 방법이 PCB와 같은 강력한 기준 모델에 효과적으로 적용되어 최고 성능을 달성할 수 있는가?

주요 결과

• Part-based Convolutional Baseline (PCB)는 외부 감독 없이도 균일한 공간 분할 전략만으로도 경쟁적인 성능을 기록하며 사람 검색의 강력한 기준 모델로 자리매김한다.
• RPP는 콘텐츠 유사도 기반으로 이질적 특징을 더 유사한 부분으로 재할당함으로써 부분 내 일관성을 크게 향상시킨다.
• Market-1501 데이터셋에서 PCB와 RPP의 조합은 77.4%+4.2% mAP와 92.3%+1.5% rank-1 정확도를 기록하며 이전 최고 성능 기법을 능가한다.
• RPP로 인한 성능 향상은 매우 뚜렷하여, 콘텐츠 일관성 기반 정련이 사람 검색에 매우 효과적임을 시사한다.
• 결과적으로, 고정된 공간 분할에 의존하는 것보다 콘텐츠 기반 이질적 특징 재할당이 부분 수준 특징 학습에 더 효과적임을 입증한다.