[논문 리뷰] EANet: Enhancing Alignment for Cross-Domain Person Re-identification

Houjing Huang, Wenjie Yang외 6명|arXiv (Cornell University)|2018. 12. 29.

Video Surveillance and Tracking Methods참고 문헌 48인용 수 35

한 줄 요약

EANet는 교차 도메인 인물 재식별에서 특징의 국소화와 정렬을 향상시키기 위해 파트 정렬 풀링(Part Aligned Pooling, PAP)과 파트 세분화(PS) 제약을 제안한다. 키포인트 유도 풀링과 레이블이 없는 타겟 데이터에 대한 의사 세분화 감독을 활용함으로써, 소스 도메인 및 제로샷 교차 도메인 설정 모두에서 Market1501, CUHK03, DukeMTMC-reID에서 최신 기술 수준의 성능을 달성하였으며, 이전 방법 대비 mAP 향상 최대 8.8%를 기록하였다.

ABSTRACT

Person re-identification (ReID) has achieved significant improvement under the single-domain setting. However, directly exploiting a model to new domains is always faced with huge performance drop, and adapting the model to new domains without target-domain identity labels is still challenging. In this paper, we address cross-domain ReID and make contributions for both model generalization and adaptation. First, we propose Part Aligned Pooling (PAP) that brings significant improvement for cross-domain testing. Second, we design a Part Segmentation (PS) constraint over ReID feature to enhance alignment and improve model generalization. Finally, we show that applying our PS constraint to unlabeled target domain images serves as effective domain adaptation. We conduct extensive experiments between three large datasets, Market1501, CUHK03 and DukeMTMC-reID. Our model achieves state-of-the-art performance under both source-domain and cross-domain settings. For completeness, we also demonstrate the complementarity of our model to existing domain adaptation methods. The code is available at https://github.com/huanghoujing/EANet.

연구 동기 및 목표

• 새로운 도메인에 인물 재식별(ReID) 모델을 구현할 때 성능 저하 문제를 해결한다.
• 특징 국소화 향상과 파트 간 부여를 줄임으로써 소스 도메인에서의 모델 일반화 능력을 향상시킨다.
• 타겟 도메인에서 정체성 레이블이 필요 없이 효과적인 도메인 적응을 가능하게 한다.
• 제안된 구성 요소가 기존 도메인 적응 방법과 상호 보완적인지를 입증한다.

제안 방법

• COCO에서 훈련된 자세 추정 모델의 키포인트 좌표를 기반으로 하는 키포인트 유도 풀링을 통해 균일한 수평 스트립 풀링을 대체하는 파트 정렬 풀링(PAP)을 제안한다.
• DensePose에서 훈련된 모델의 의사 레이블을 사용하여 ReID 특징 맵에 세분화 헤드를 훈련시키는 파트 세분화(PS) 제약을 도입하여 국소화 능력 향상과 부여 감소를 도모한다.
• 레이블이 없는 타겟 도메인 이미지에서 훈련 중 PS 제약을 적용하여 정규화 기법으로 기능하게 하여 효과적인 무 supervision 도메인 적응을 가능하게 한다.
• 두 단계 훈련 전략을 사용한다: 먼저 PAP와 PS를 사용해 소스 도메인에서 사전 훈련한 후, 정체성 레이블 없이 타겟 도메인에서 PS 제약을 활용해 미세 조정한다.
• COCO와 DensePose에서 사전 훈련된 모델의 키포인트 및 세분화 감독을 활용하여 타겟 도메인에서의 애너테이션 필요 없이 특징 학습을 유도한다.

실험 결과

연구 질문

• RQ1 균일한 스트립 풀링 대비 키포인트 유도 파트 풀링이 교차 도메인 ReID 성능 향상에 기여하는가?
• RQ2 ReID 특징에 파트 세분화 제약을 적용함으로써 특징의 부여를 감소시키고 국소화 능력을 향상시킬 수 있는가?
• RQ3 타겟 정체성 레이블이 전혀 없는 상황에서 PS 제약이 무 supervision 도메인 적응에 효과적인 정규화 기법으로 기능할 수 있는가?
• RQ4 제안된 구성 요소들이 소스 도메인 및 교차 도메인 ReID 설정 모두에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• PAP-S-PS 모델은 단일 도메인 설정에서 Market1501에서 85.6%, CUHK03에서 66.8%, DukeMTMC-reID에서 74.6%의 최신 기술 수준 mAP 성능을 기록하였으며, PCB+RPP 대비 각각 4.0%, 9.3%, 5.4% 향상되었다.
• 교차 도메인 전이 설정에서는 PAP-ST-PS 모델이 M→D에서 56.1%, D→M에서 66.1%, C→M에서 66.4%, C→D에서 45.0%의 mAP 성능을 기록하였으며, HHL 대비 각각 8.8%, 4.4%, 10.8%, 3.0% 향상되었다.
• PAP-ST-PS-SPGAN-CFT 변형은 M→D에서 67.7% mAP, D→M에서 78.0% mAP 성능을 기록하여 도전적인 제로샷 설정에서도 뛰어난 성능을 보였다.
• 이중 인접한 파트 간의 특징 부여를 크게 감소시켰으며, 이는 이웃 영역에서 풀링된 특징 간 코사인 유사도가 낮아진 것으로 확인되었다.
• 기존 도메인 적응 기법과의 조합에서 성능 향상이 관찰되어, 제안된 방법이 기존 기법과 상호 보완적임을 입증하였다.