[논문 리뷰] Fast and Accurate Person Re-Identification with RMNet

Evgeny Izutov|arXiv (Cornell University)|2018. 12. 06.

Video Surveillance and Tracking Methods참고 문헌 6인용 수 7

한 줄 요약

이 논문은 실시간으로 빠르고 정확한 인물 재식별을 위한 경량 컨볼루션 네트워크 백본인 RMNet을 제안한다. 최적화된 다양체 학습 손실과 새로운 경량 헤드를 결합하여 CPU에서 최대 923 FPS로 추론를 수행하면서 최신 기술 수준의 정확도를 달성한다. 이 방법은 기존 모델 대비 속도에서 10배 이상 향상되었으며, 경쟁적인 mAP 및 rank@1 점수를 유지한다.

ABSTRACT

In this paper we introduce a new neural network architecture designed to use in embedded vision applications. It merges the best working practices of network architectures like MobileNets and ResNets to our named RMNet architecture. We also focus on key moments of building mobile architectures to carry out in the limited computation budget. Additionally, to demonstrate the effectiveness of our architecture we evaluate the RMNet backbone on Person Re-identification task. The proposed approach is in top 3 of state of the art solutions on Market-1501 challenge, however our method significantly outperforms them by the inference speed.

연구 동기 및 목표

• 소비자용 하드웨어에서 실시간 인물 재식별을 위한 작업 특화 경량 CNN 아키텍처를 설계하기 위해.
• 백본과 학습 전략을 공동 설계하여 정확도와 추론 속도 사이의 상충 관계를 해결하기 위해.
• ResNet-50나 다중 브랜치 네트워크와 같은 무거운 아키텍처에 의존하지 않고도 성능을 향상시키기 위해.
• 서로 호환되지 않는 소스에서 유래한 구성 요소의 모듈식 조합보다 특정 작업을 위한 직접적인 아키텍처 설계가 더 우수한 성능을 낼 수 있음을 입증하기 위해.
• 표준 CPU에서 효율적인 추론을 통해 프레임당 다수의 인물 비교를 실시간으로 처리할 수 있도록 하기 위해.

제안 방법

• 표준 백본인 ResNet-50를 대체할 수 있는 실시간 및 모바일 추론에 최적화된 경량 CNN 백본인 RMNet을 제안한다.
• 파ram터 수를 늘리지 않으면서 저수준과 고수준의 지도 학습을 통합하는 새로운 네트워크 헤드를 도입한다.
• 특징 다양체의 구조를 향상시키기 위해 AM-Softmax, Center, Push, GlobPush 손실을 포함하는 다중 손실 학습 전략을 적용한다.
• 일반화 성능과 클래스 불균형에 대한 강건성을 향상시키기 위해 스마트 마진과 하드 샘플 마이닝(HSM)을 적용한다.
• 경량 설정에서 학습 안정성과 성능을 향상시키기 위해 ReLU 대신 ELU 활성화 함수를 사용한다.
• 여러 손실 신호를 통합된 순위 기준으로 조합하는 민첩한 샘플 마이닝 전략을 사용하여 최적화를 향상시킨다.

실험 결과

연구 질문

• RQ1 경량이며 작업 특화된 CNN 백본이 실시간 추론을 가능하게 하면서도 인물 재식별에서 최신 기술 수준에 근접한 정확도를 달성할 수 있는가?
• RQ2 스마트 마진과 함께 다각체 학습 손실(예: Push, GlobPush)을 조합할 경우, 모델 크기를 늘리지 않고도 임베딩 품질을 얼마나 향상시킬 수 있는가?
• RQ3 활성화 함수(ELU 대비 ReLU)와 파라미터 공유와 같은 아키텍처 선택이 경량 모델에서 성능 향상에 얼마나 기여하는가?
• RQ4 단일 브랜치, 단일 헤드 네트워크가 다중 브랜치 또는 특징 집계 모델보다 정확도는 높이고 동시에 훨씬 더 빠른가?
• RQ5 입력 해상도와 추론 속도의 상호 교환 관계가 Market-1501 벤치마크에서 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 RMNet 기반 모델은 Market-1501 데이터셋에서 92.4%의 rank@1과 82.5%의 mAP를 기록하여 최신 기술 수준의 방법들 중에서 rank@1 기준 상위 3위, mAP 기준 상위 2위에 해당한다.
• 경량 모델(0.81 MParams)은 Intel Core i7-6700K CPU에서 923 FPS의 추론 속도를 달성하여, 모든 최신 기술 수준의 모델보다 속도에서 10배 이상 뛰어나다.
• 더 높은 해상도(384×128)를 사용한 모델은 mAP를 82.53%로 향상시키고, rank@1을 92.37%로 끌어올려, 해상도 확장을 통해 성능 향상 효과를 입증하였으며, 속도 저하도 최소한도에 그친다.
• 스마트 마진과 HSM의 사용은 특징 다각체의 질서를 향상시켜 mAP를 크게 향상시켰다.
• 후기 학습 단계에서 드롭아웃 정규화를 비활성화하면 정확도가 크게 향상되며, 이는 강한 정규화 하에서 모델의 용량이 제한되어 있음을 확인한다.
• 가장 강력한 구성(0.58 GFLOPs, 0.81 MParams)을 가진 모델은 93.1%의 rank@1과 91.1%의 mAP를 기록하여, MGN(RK)보다 mAP에서 뛰어나면서도 훨씬 더 빠른 속도를 확보했다.