[논문 리뷰] Densely Semantically Aligned Person Re-Identification

Zhizheng Zhang, Cuiling Lan외 2명|arXiv (Cornell University)|2018. 12. 21.

Video Surveillance and Tracking Methods참고 문헌 54인용 수 18

한 줄 요약

이 논문은 자세, 시점, 가림, 검출 오차로 인한 지속적인 신체 부정렬 문제를 해결하기 위해 밀도 높은 의미적 정렬(person re-identification) 프레임워크를 제안한다. 이 프레임워크는 DensePose로부터 유도된 밀도 높은 의미적 매핑을 활용해 24개의 밀도 높은 정렬된 부분 이미지(DSAP-images)를 생성함으로써 다양한 자세와 시점 간에 세분화된 공간적 및 의미적 정렬을 가능하게 한다. 두 개의 스트림으로 구성된 네트워크는 주 이미지 스트림에서 특징 학습을 조절하기 위해 지도 스트림으로서 DSAP-images를 사용하며, 효율성을 위해 추론 시에는 주 스트림만을 요구한다. 이로 인해 최신 기술 수준(SOTA)의 성능을 달성한다: Market1501에서 95.7%의 rank-1, CUHK01에서 90.4%, CUHK03에서 새로운 프로토콜 하에 78.9%의 rank-1 성능을 기록한다.

ABSTRACT

We propose a densely semantically aligned person re-identification framework. It fundamentally addresses the body misalignment problem caused by pose/viewpoint variations, imperfect person detection, occlusion, etc. By leveraging the estimation of the dense semantics of a person image, we construct a set of densely semantically aligned part images (DSAP-images), where the same spatial positions have the same semantics across different images. We design a two-stream network that consists of a main full image stream (MF-Stream) and a densely semantically-aligned guiding stream (DSAG-Stream). The DSAG-Stream, with the DSAP-images as input, acts as a regulator to guide the MF-Stream to learn densely semantically aligned features from the original image. In the inference, the DSAG-Stream is discarded and only the MF-Stream is needed, which makes the inference system computationally efficient and robust. To the best of our knowledge, we are the first to make use of fine grained semantics to address the misalignment problems for re-ID. Our method achieves rank-1 accuracy of 78.9% (new protocol) on the CUHK03 dataset, 90.4% on the CUHK01 dataset, and 95.7% on the Market1501 dataset, outperforming state-of-the-art methods.

연구 동기 및 목표

• 자세, 시점, 가림, 검출 오차로 인해 지속적으로 발생하는 신체 부정렬 문제를 해결하기 위해.
• 밀도 높은 3차원 표면 대응 관계(UV 매핑)를 활용해 사람 이미지 간에 세분화된 픽셀 수준의 의미적 정렬을 가능하게 하기 위해.
• 주 스트림에서 특징 학습을 향상시키기 위해 정렬된 부분 이미지 기반의 지도 스트림을 갖춘 두 개의 스트림 네트워크를 설계하여 추론 효율성에 영향을 주지 않도록 하기 위해.
• 표준 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 구현 시 계산 효율성을 유지하기 위해.

제안 방법

• 각 사람 이미지에 대해 DensePose를 활용해 밀도 높은 2D-3D 표면 대응 관계(UV 좌표)를 추정함으로써 픽셀 수준에서 세분화된 의미 레이블링을 가능하게 한다.
• 원본 이미지를 기준 UV 공간으로 왜곡하여 24개의 밀도 높은 의미적으로 정렬된 부분 이미지(DSAP-images)를 생성함으로써 이미지 간에 공간적으로 정렬된 의미를 확보한다.
• 주 이미지 스트림(MF-Stream)은 주요 특징 학습을 담당하고, 밀도 높은 의미적으로 정렬된 지도 스트림(DSAG-Stream)은 DSAP-images를 사용해 MF-Stream의 특징 학습을 감시하고 조절하는 두 개의 스트림 네트워크를 설계한다.
• 학습 중에 MF-Stream과 DSAG-Stream의 특징 간 요소별 덧셈 병합을 적용하며, 추론 시에는 DSAG-Stream을 제거하여 효율성을 유지한다.
• 전역 및 부분 인식 브랜치의 공동 학습을 통해 두 스트림에서 보완적인 특징 학습과 강건성을 향상시킨다.
• 전역 및 국소 브랜치를 포함한 다중 척도 특징 학습 전략을 적용하여 분류 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 UV 공간 왜곡을 통한 사람 이미지 간 밀도 높은 의미적 정렬이 자세 및 시점 변화로 인한 부정렬 문제를 현저히 감소시키는가?
• RQ2 정렬된 부분 이미지 기반의 지도 스트림을 사용할 경우 주 이미지에서 학습된 특징의 품질과 강건성이 향상되는가?
• RQ3 추론 시 지도 스트림을 제거하는 두 개의 스트림 아키텍처가 높은 정확도를 유지하면서도 계산 효율성을 향상시킬 수 있는가?
• RQ4 밀도 높은 의미적 정렬은 굵은 부분 기반 정렬 대비 재식별 성능에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 Market1501 데이터셋에서 95.7%의 rank-1 정확도를 달성하여 이전 최신 기술 수준의 방법을 초월한다.
• CUHK01 데이터셋에서 90.4%의 rank-1 정확도를 기록하여 도전적이고 다양한 특성을 가진 벤치마크에서 뛰어난 성능을 입증한다.
• 새로운 프로토콜 하에 CUHK03 데이터셋에서 78.9%의 rank-1 정확도를 달성하며, 이는 이전 방법들보다 최소 10.9%포인트 이상의 rank-1 정확도 향상이다.
• 제거 실험 결과, 굵은 정렬 대비 밀도 높은 의미적 정렬이 +1.6%의 rank-1 정확도 향상을 제공함을 확인하여 세분화된 정렬의 이점이 뚜렷하다.
• 스트림 간 요소별 덧셈 병합은 Market1501에서 87.6%의 mAP와 95.7%의 rank-1 정확도를 기록하며, 병합 기반 병합 방식보다 유의미하게 뛰어나다(81.6% mAP).
• 전역 및 부분 인식 브랜치를 모두 포함한 전체 모델이 최고의 성능을 기록하며, 보완적인 특징 학습이 재식별 정확도 향상에 기여함을 보여준다.