[논문 리뷰] A Novel Teacher-Student Learning Framework For Occluded Person Re-Identification

Jiaxuan Zhuo, Jianhuang Lai외 1명|arXiv (Cornell University)|2019. 07. 07.

Video Surveillance and Tracking Methods참고 문헌 31인용 수 45

한 줄 요약

이 논문은 전체 신체에서 가려진 도메인으로의 지식 전이를 통해 부분적으로 가려진 사람을 견고하게 재식별하기 위한 코-설리언시 네트워크와 크로스-도메인 시뮬레이터를 이용한 두 단계 교사-학생 학습 프레임워크를 제시한다.

ABSTRACT

Person re-identification (re-id) has made great progress in recent years, but occlusion is still a challenging problem which significantly degenerates the identification performance. In this paper, we design a teacher-student learning framework to learn an occlusion-robust model from the full-body person domain to the occluded person domain. Notably, the teacher network only uses large-scale full-body person data to simulate the learning process of occluded person re-id. Based on the teacher network, the student network then trains a better model by using inadequate real-world occluded person data. In order to transfer more knowledge from the teacher network to the student network, we equip the proposed framework with a co-saliency network and a cross-domain simulator. The co-saliency network extracts the backbone features, and two separated collaborative branches are followed by the backbone. One branch is a classification branch for identity recognition and the other is a co-saliency branch for guiding the network to highlight meaningful parts without any manual annotation. The cross-domain simulator generates artificial occlusions on full-body person data under a growing probability so that the teacher network could train a cross-domain model by observing more and more occluded cases. Experiments on four occluded person re-id benchmarks show that our method outperforms other state-of-the-art methods.

연구 동기 및 목표

• 가려진 대상이 식별 성능을 떨어뜨리는 사람 재식별에서 가려짐 문제를 해결한다.
• 대규모 전체 신체 사람 데이터를 활용하여 가려진 시나리오를 시뮬레이션하고 견고한 학습을 유도한다.
• 실제 가려진 데이터로부터 학생 네트워크를 안내하는 한편 교사 주도 가려짐 인식 특징의 이점을 얻는다.

제안 방법

• 전체 신체 데이터를 사용하여 가려짐을 시뮬레이션하는 교사 단계와 실제 가려진 데이터로 학습하는 학생 단계로 구성된 두 단계 교사-학생 프레임워크를 도입한다.
• 백본과 두 가지 가지가 있는 분기(신원 분류를 위한 분기, 가려진 부위 탐지를 위한 코-설리언시 분기)를 가진 코-설리언시 네트워크를 제안하여 사람의 신체 부위를 강조한다.
• 훈련 중에 전체 신체 이미지를 점진적으로 가려진 이미지로 변환하는 크로스-도메인 시뮬레이터를 사용한다.
• 도메인 마이그레이션을 정렬하고 신원 손실과 OBC 손실을 다중 작업 손실로 통합하기 위해 가려진/비가려진(OBC) 이진 분류기를 활용한다.
• 교사의 코-설리언시 출력을 학생 학습의 ground truth로 결합하여 가려짐 강인성과 설리언시 추정 향상을 도모한다.

실험 결과

연구 질문

• RQ1 전체-전체 신체 도메인과 가려진 사람 도메인 사이의 간극을 재식별을 위해 교사-학생 프레임워크가 줄일 수 있는가?
• RQ2 코-설리언시 가이드와 크로스-도메인 시뮬레이션이 가려진 사람 재식별 성능을 향상시키는가?
• RQ3 성장하는 확률의 가려짐 메커니즘이 가려짐 강인한 특징 학습에 어떤 영향을 미치는가?
• RQ4 시뮬레이션된 가려짐으로부터 실제 가려짐으로의 지식 전이가 학생 모델에 이익을 주는가?
• RQ5 코-설리언시 분기가 다른 설리언시 탐지기 대비 가려진 영역 탐지에 효과적인가?

주요 결과

• 제안된 프레임워크가 네 가지 벤치마크에서 최첨단 방법에 비해 가려진 사람 재식별 성능을 향상시킨다.
• 분류와 코-설리언시 분기 모두를 포함하고 크로스-도메인 시뮬레이션 및 OBC 손실을 더한 교사 네트워크가 기준 구성보다 상당한 이득을 제공한다.
• 성장확률 크로스-도메인 시뮬레이터가 고정 확률이나 비 가려짐 설정보다 우수하여 점진적인 도메인 적응을 돕는다.
• 코-설리언시 분기가 설리언시 영역의 위치화 및 재식별 및 설리언시 탐지 지표를 모두 향상시킨다.
• 교사의 코-설리언시 출력을 학생의 감독으로 사용하는 것은 가려짐 강인성과 탐지 정확도를 향상시킨다.