[논문 리뷰] Weighted Bilinear Coding over Salient Body Parts for Person Re-identification

Zhigang Chang, Qin Zhou외 5명|arXiv (Cornell University)|2018. 03. 22.

Video Surveillance and Tracking Methods참고 문헌 49인용 수 6

한 줄 요약

이 논문은 채널 간 특징 상관관계를 모델링하고 지역적 특징들을 그 분류 중요도에 따라 적응적으로 가중하는 방식으로, 사람 재식별(person re-identification)에서 특징 표현을 향상시키는 가중 이중 코딩(Weighted Bilinear Coding, WBC) 프레임워크를 제안한다. 주요 부위 네트워크를 통합하여 공간 정렬을 수행함으로써, Market-1501, DukeMTMC-reID, CUHK03에서 성능을 향상시켰으며, 767/700 설정에서 Market-1501에서 50.1%의 랭크-1 정확도를 기록하여 최신 기준(SOTA) 성능을 달성하였다.

ABSTRACT

Deep convolutional neural networks (CNNs) have demonstrated dominant performance in person re-identification (Re-ID). Existing CNN based methods utilize global average pooling (GAP) to aggregate intermediate convolutional features for Re-ID. However, this strategy only considers the first-order statistics of local features and treats local features at different locations equally important, leading to sub-optimal feature representation. To deal with these issues, we propose a novel weighted bilinear coding (WBC) framework for local feature aggregation in CNN networks to pursue more representative and discriminative feature representations, which can adapt to other state-of-the-art methods and improve their performance. In specific, bilinear coding is used to encode the channel-wise feature correlations to capture richer feature interactions. Meanwhile, a weighting scheme is applied on the bilinear coding to adaptively adjust the weights of local features at different locations based on their importance in recognition, further improving the discriminability of feature aggregation. To handle the spatial misalignment issue, we use a salient part net (spatial attention module) to derive salient body parts, and apply the WBC model on each part. The final representation, formed by concatenating the WBC encoded features of each part, is both discriminative and resistant to spatial misalignment. Experiments on three benchmarks including Market-1501, DukeMTMC-reID and CUHK03 evidence the favorable performance of our method against other outstanding methods.

연구 동기 및 목표

• CNN 기반 사람 재식별에서 전역 평균 풀링(Global Average Pooling, GAP)으로 인해 발생하는 특징 표현의 열악한 성능을 해결하기 위해, 특징 상관관계를 忽시하고 모든 지역적 특징을 동일하게 취급하는 문제를 해결한다.
• 이중 코딩을 통해 고차원 특징 상호작용을 모델링하면서도, 인식 중요도에 따라 특징들을 적응적으로 가중함으로써 분류 성능을 향상시킨다.
• 재식별에서의 공간적 비일치 문제를 완화하기 위해, 주요 신체 부위를 자동으로 탐지하고 집중하는 주요 부위 네트워크를 활용한다.
• 기존 최신 기준 Re-ID 모델에 대한 아키텍처의 대대적 개선 없이도 기능을 향상시킬 수 있는 유연하고 플러그인 방식의 기능 집계 모듈을 개발한다.
• 종합적인 엔드 투 엔드 학습이 가능한 방식으로 주요 신체 부위에서 WBC로 인코딩된 특징들을 연결함으로써, 강건하고 분류 능력이 뛰어난 외관 표현을 구축한다.

제안 방법

• 지역적 컨볼루션 특징의 채널 간 상관관계를 포착하기 위해 이중 코딩을 적용하여, 전역 평균 풀링보다 richer한 고차원 상호작용을 모델링한다.
• 인식 성능 기여도에 따라 더 분류 능력이 뛰어난 지역적 특징에 더 높은 중요도를 할당하는 적응형 가중치 기법을 도입한다.
• 공간 정렬에 유리한 주요 부위 네트워크(공간 주의 모듈)를 통합하여 핵심 인간 신체 부위를 탐지하고 추출함으로써, 공간적 비일치에 대한 민감도를 감소시킨다.
• 각 주요 부위에 대해 독립적으로 WBC를 적용하여 부위별로 특화된 분류 능력을 가진 특징을 생성한다.
• 모든 주요 부위에서 WBC로 인코딩된 특징들을 연결하여 최종적인 강건하고 정렬에 강인한 전역 표현을 구성한다.
• 삼중손실(Triplet Loss)과 특징 연결을 사용하여 전체 프레임워크를 엔드 투 엔드로 학습함으로써 각 부위의 주의 마스크를 학습하고 특징의 분류 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 이중 코딩을 통해 채널 간 특징 상관관계를 모델링하면, 전역 평균 풀링 대비 CNN 기반 사람 재식별 특징의 분류 능력이 향상되는가?
• RQ2 더 정보적인 지역적 특징에 더 높은 중요도를 할당하는 적응형 가중치 기법이 재식별 성능 향상에 기여하는가?
• RQ3 주요 부위 네트워크가 핵심 신체 영역에 집중함으로써 공간적 비일치의 영향을 효과적으로 줄일 수 있는가?
• RQ4 WBC를 부위 기반 표현과 통합함으로써 표준 재식별 벤치마크에서 성능 향상이 얼마나 이루어지는가?
• RQ5 라벨링된 박스와 검출된 박스 설정 모두에서, PAN 및 DPFL과 같은 최신 기준 모델 대비 제안된 방법의 정확도와 강건성은 어떠한가?

주요 결과

• 제안된 WBC 프레임워크는 767/700 설정에서 Market-1501 데이터셋에서 랭크-1 정확도 50.1%와 mAP 42.1%를 기록하여, 두 번째로 좋은 성능을 낸 DPFL보다 랭크-1에서 7.1% 향상되고 mAP에서 7.2% 향상되었다.
• 검출된 박스 설정에서는 랭크-1 47.7%, mAP 43.9%를 기록하여, 두 번째로 좋은 성능을 낸 PAN보다 랭크-1에서 2.4% 향상되고 mAP에서 4.7% 향상되었다.
• WBC 모델은 PCB-RPP와 같은 기존 최신 기준 모델에 쉽게 통합되어도 성능 향상이 뚜렷하게 나타나, 유연성과 일반화 능력이 뛰어남을 입증하였다.
• PAN에서 사용된 전역 파rameterized 공간 트랜스포머보다 주요 부위 네트워크가 더 나은 정렬 성능을 보였으며, 이는 비일치 및 노이즈가 있는 이미지에서 성능 향상에 기여하였다.
• 배경 혼잡함과 부분적 가림에 대해 강건성을 보였지만, 옷차림 무늬의 시각적 유사성 또는 블러링으로 인해 실패 케이스가 여전히 발생하였다.
• 수동으로 라벨링된 이미지에서는 자동 검출된 이미지보다 일관되게 높은 성능를 기록하여, 실세계 재식별 응용에서 검출 노이즈와 비일치 문제가 여전히 도전 과제임을 시사한다.