[논문 리뷰] A Multi-task Joint Framework for Real-time Person Search

Ye Li, Kangning Yin외 3명|arXiv (Cornell University)|2020. 12. 11.

Video Surveillance and Tracking Methods인용 수 6

한 줄 요약

이 논문은 실시간 인물 검색을 위한 멀티태스크 공동 프레임워크(MJF)를 제안한다. 이 프레임워크는 빠르고 정확한 검출을 위한 최적화된 YOLOv5-GS, 프레임당 보행자 수에 따라 특징 추출기들을 동적으로 선택하는 모델 적응 아키텍처(MAA), 그리고 4/5 프레임 확인 전략을 갖춘 3D 풀드 테이블을 포함한다. 이는 강력한 신원 매칭을 가능하게 한다. 프레임워크는 500개의 ID를 가진 1920×1080 영상에서 93.6%의 식별률과 25.7 FPS 성능을 달성하여 실시간 성능을 확보한다.

ABSTRACT

Person search generally involves three important parts: person detection, feature extraction and identity comparison. However, person search integrating detection, extraction and comparison has the following drawbacks. Firstly, the accuracy of detection will affect the accuracy of comparison. Secondly, it is difficult to achieve real-time in real-world applications. To solve these problems, we propose a Multi-task Joint Framework for real-time person search (MJF), which optimizes the person detection, feature extraction and identity comparison respectively. For the person detection module, we proposed the YOLOv5-GS model, which is trained with person dataset. It combines the advantages of the Ghostnet and the Squeeze-and-Excitation (SE) block, and improves the speed and accuracy. For the feature extraction module, we design the Model Adaptation Architecture (MAA), which could select different network according to the number of people. It could balance the relationship between accuracy and speed. For identity comparison, we propose a Three Dimension (3D) Pooled Table and a matching strategy to improve identification accuracy. On the condition of 1920*1080 resolution video and 500 IDs table, the identification rate (IR) and frames per second (FPS) achieved by our method could reach 93.6% and 25.7,

연구 동기 및 목표

• 기존 인물 검색 시스템이 낮은 검출 정확도로 인해 재식별 성능이 떨어지고 실시간 성능가 낮은 문제를 해결하기 위해.
• 실시간 배포를 위해 검출, 특징 추출, 신원 비교를 공동 최적화하는 통합 프레임워크를 개발하기 위해.
• 각 프레임 내 보행자 밀도에 따라 네트워크 복잡도를 적응적으로 조절하여 특징 추출의 속도와 정확도를 균형 잡기 위해.
• 자세 인식 특징 저장 및 다중 프레임 확인 전략을 통해 신원 매칭 신뢰도를 향상시키기 위해.

제안 방법

• 보행자 검출 정확도와 속도를 향상시키기 위해 CrowdHuman 데이터셋에 맞추어 튜닝된 가벼운 검출 네트워크인 YOLOv5-GS를 제안한다. 이는 고스트 모듈과 스queeze-and-excitation 블록을 결합한 구조를 가진다.
• 프레임당 검출된 보행자 수에 따라 ResNet-18, -34, 또는 -50에 Non-local 및 BnFeature 모듈을 적용하는 모델 적응 아키텍처(MAA)를 설계하여 속도와 정확도의 균형을 확보한다.
• 각 신원에 대해 앞면, 옆면, 뒷면의 세 가지 자세에 따라 특징을 저장하는 3D 풀드 테이블을 도입하여 자세별 특징 매칭을 가능하게 한다.
• 4/5 프레임 확인 전략을 적용한다: 연속된 5개 프레임 중 4개에서 일관된 결과가 나올 경우에만 신원을 매칭하거나 업데이트하여 신뢰도를 향상시킨다.
• 신원 매칭 시 유사도를 계산하기 위해 코사인 거리를 사용하여 외관 변화에 강건한 성능을 확보한다.
• 다단계 파이프라인을 적용한다: 검출 → 적응형 특징 추출 → 3D 테이블 기반의 자세 인식 특징 매칭 및 확인 로직 적용.

실험 결과

연구 질문

• RQ1 검출, 특징 추출, 신원 매칭을 동시에 최적화하는 공동 프레임워크가 실시간 인물 검색 성능을 향상시킬 수 있는가?
• RQ2 한 프레임 내 보행자 밀도 변화에 따라 특징 추출의 속도와 정확도를 어떻게 균형 잡을 수 있는가?
• RQ3 다중 프레임 확인 및 자세별 특징 저장 전략이 신원 매칭의 신뢰도를 향상시키는가?
• RQ4 제안된 프레임워크가 고해상도 영상에서 실시간 성능(≥25 FPS)을 확보하면서도 높은 식별 정확도를 달성할 수 있는가?

주요 결과

• MJF 프레임워크는 500개의 ID를 가진 1920×1080 영상에서 93.6%의 식별률과 25.7 FPS 성능을 달성하여 실시간 요구사항을 충족한다.
• YOLOv5-GS는 1920×1080 영상에서 60.4 FPS 성능을 기록하여 정확도를 유지하면서도 고속 검출을 실현한다.
• MAA를 통해 ResNet-50를 사용할 경우 1초당 605명의 보행자를 처리하며, mAP 93.2%와 Rank-1 정확도 94.2%를 달성한다.
• 4/5 프레임 확인 전략을 갖춘 3D 풀드 테이블은 고밀도 상황에서도 매칭 안정성을 향상시켜 오류 매칭을 감소시킨다.
• ID 수가 많아지거나 해상도가 낮아지면 식별률이 감소하지만, 500개의 ID와 1920×1080 해상도 조건에서 93.6%의 IR을 유지한다.
• 장면 복잡도에 따라 동적으로 적응하는 능력을 통해 단일 모델 기반 접근법보다 우수한 성능을 발휘하며, 속도와 정확도를 효과적으로 균형 잡는다.