[논문 리뷰] Video Person Re-ID: Fantastic Techniques and Where to Find Them

Priyank Pathak, Amir Erfan Eshratifar외 1명|arXiv (Cornell University)|2019. 11. 21.

Video Surveillance and Tracking Methods참고 문헌 4인용 수 7

한 줄 요약

이 논문은 온라인 소프트 마이닝(осм), 중심 손실(CL) 중심점, 그리고 시간적 주의망 내의 주의 기반 특징 집합을 결합한 새로운 하이브리드 손실 함수인 Attention and CL loss를 제안한다. 이 방법은 백팩 트릭스 및 하이퍼파라미터 최적화를 통해 MARS 및 PRID 2011 데이터셋에서 최신 기술 수준을 초월하여 재정렬된 mAP 82.9%와 PRID 2011에서 CMC-1 96.6%를 달성한다.

ABSTRACT

The ability to identify the same person from multiple camera views without the explicit use of facial recognition is receiving commercial and academic interest. The current status-quo solutions are based on attention neural models. In this paper, we propose Attention and CL loss, which is a hybrid of center and Online Soft Mining (OSM) loss added to the attention loss on top of a temporal attention-based neural network. The proposed loss function applied with bag-of-tricks for training surpasses the state of the art on the common person Re-ID datasets, MARS and PRID 2011. Our source code is publicly available on github.

연구 동기 및 목표

• 주의 메커니즘과 고급 손실 함수를 결합하여 영상 기반 인물 재식별 정확도를 향상시키기.
• 시야각 변화, 조명 변화, 가림 현상 등의 과제를 영상 프레임 간 시간 모델링을 통해 해결하기.
• 중심 손실, 온라인 소프트 마이닝, 주의 기반 프레임 가중치 통합을 통해 모델의 강인성과 일반화 능력을 향상시키기.
• 구조적 및 학습 혁신의 조합을 통해 MARS 및 PRID 2011 벤치마크 데이터셋에서 기존 최신 기술 수준 성능을 뛰어넘기.

제안 방법

• 모델은 프리트레이닝된 ResNet-50을 사용해 프레임 수준의 특징을 추출한 후, 시간적 주의 메커니즘을 통해 프레임 간 가중치 합을 계산한다.
• 하이브리드 손실 함수인 Attention and CL loss는 주의 손실, OSM 손실, 중심 손실(CL)을 조합하며, 클래스 기반 중심 벡터를 사용해 잡음이 많은 프레임을 억제한다.
• 주의 손실은 이진 레이블(관련 프레임에 대해 1, 삭제된 프레임에 대해 0)에 가중치가 부여된 프레임 수준의 주의 점수 평균으로 정의되며, 깨끗하고 정보가 풍부한 프레임에 집중하도록 유도한다.
• 학습 중에 무작위 삭제 증강 기법이 적용되어 가림을 시뮬레이션하고, 삭제된 패치가 포함된 프레임은 주의 손실을 통해 명시적으로 페널티를 받는다.
• 백팩 트릭스 학습 전략에는 레이블 스무딩, 웜업 학습률, 분류 전 배치 정규화, 코사인 마진 트리플릿 손실이 포함된다.
• Facebook의 Ax 도구를 사용해 MARS 및 PRID 2011에서의 모델 성능을 정 fine-tune 하기 위해 하이퍼파라미터 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 OSM, 중심 손실, 주의 기반 요소를 조합한 하이브리드 손실이 기존 최신 기술 수준을 뛰어넘는 영상 인물 Re-ID 성능 향상에 기여하는가?
• RQ2 중심 손실에서 유도된 중심 벡터를 클래스 표현으로 통합함으로써 프레임 수준의 주의 및 모델 강인성은 어떻게 향상되는가?
• RQ3 무작위 삭제 증강 기법과 주의 기반 손실의 조합이 가림 및 시각적 변형 상황에서 일반화 능력을 얼마나 향상시키는가?
• RQ4 제안된 Attention and CL loss와 백팩 트릭스 기법의 조합이 여러 벤치마크에서 일관된 성능 향상을 이끌어내는가?
• RQ5 주의 메커니즘이 잡음이 많은 프레임을 억제하는 능력이 MARS 및 PRID 2011에서 mAP 및 CMC 점수 향상에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 방법은 MARS 데이터셋에서 82.9% mAP(재정렬됨) 및 CMC-1 88.6%를 달성하여 재정렬 없이도 이전 최신 기술 수준인 81.2% mAP 및 86.2% CMC-1를 뛰어넘었다.
• PRID 2011에서 MARS에서 사전학습한 모델은 CMC-1 96.6%를 기록하여 동일한 데이터셋에서의 최신 기술 수준인 96.1% CMC-1를 초월했다.
• 백팩 트릭스와 Attention and CL loss의 조합은 MARS에서 82.9% mAP 및 88.6% CMC-1를 달성하여 기준 모델 대비 6.2% 향상된 성능을 보였다.
• OSM 손실에 CL 중심점을 사용함으로써 고분산, 잡음이 많은 프레임을 더 정확하게 식별하고 가중치를 낮추는 데 기여했다.
• 재정렬을 통해 성능을 추가로 향상시켜, 최고 성능 설정에서 MARS에서 CMC-20 98.5%와 PRID 2011에서 CMC-20 100%를 달성했다.
• 분류 레이어 이전에 배치 정규화를 적용한 결과, 정규화되지 않은 특징보다 더 강인한 특징을 생성했으며, 이는 일반화 능력 향상에 기여했다.