[논문 리뷰] Highly Efficient Regression for Scalable Person Re-Identification

Hanxiao Wang, Shaogang Gong외 1명|arXiv (Cornell University)|2016. 12. 05.

Video Surveillance and Tracking Methods인용 수 3

한 줄 요약

이 논문은 확장 가능한 인물 재식별을 위한 고도로 효율적인 회귀(Highly Efficient Regression, HER)를 제안하며, re-ID를 리지 회귀 문제로 재정의하고 피셔 기준을 통합하여 빠르고 정확한 학습을 달성한다. HER+는 실시간 증분 업데이트를 가능하게 하여 최신 기술 모델을 능가하는 정확도를 확보하면서도 활성 학습을 통해 인간 레이블링 노력의 50%를 줄이며, 대규모 데이터셋에서 배치 재학습 대비 최대 89.7배 빠른 성능을 보인다.

ABSTRACT

Existing person re-identification models are poor for scaling up to large data required in real-world applications due to: (1) Complexity: They employ complex models for optimal performance resulting in high computational cost for training at a large scale; (2) Inadaptability: Once trained, they are unsuitable for incremental update to incorporate any new data available. This work proposes a truly scalable solution to re-id by addressing both problems. Specifically, a Highly Efficient Regression (HER) model is formulated by embedding the Fisher's criterion to a ridge regression model for very fast re-id model learning with scalable memory/storage usage. Importantly, this new HER model supports faster than real-time incremental model updates therefore making real-time active learning feasible in re-id with human-in-the-loop. Extensive experiments show that such a simple and fast model not only outperforms notably the state-of-the-art re-id methods, but also is more scalable to large data with additional benefits to active learning for reducing human labelling effort in re-id deployment.

연구 동기 및 목표

• 기존 인물 재식별(re-ID) 모델의 확장성 한계를 해결하기 위해 고비용의 계산과 증분 학습 지원 부족 문제를 해결한다.
• 재학습 없이도 누적형 대규모 데이터셋에서 학습이 가능한 저복잡도 및 확장 가능한 메모리 사용을 갖춘 모델을 개발한다.
• 사람이 개입하는 활성 학습을 지원하기 위해 실시간 증분 모델 업데이트를 가능하게 하여 광범위한 사전 레이블링 데이터에 대한 의존도를 줄인다.
• 계산 효율성을 유지하면서도 재식별 성능를 향상시켜 실세계 적용에 적합한 모델을 확보한다.

제안 방법

• 빠른 학습 및 추론을 위해 다변량 리지 회귀 문제로 인물 재식별을 공식화하고, 폐쇄형 해법을 사용한다.
• 분류 간 분리도를 극대화하고 특징 추출 능력을 유지하기 위해 리지 회귀 목표함수에 피셔 기준을 통합하여 계산 비용 증가 없이도 분류 성능 유지를 달성한다.
• HER+는 새로운 레이블 데이터 도착 시 효율적으로 회귀 계수를 업데이트함으로써 온라인 모델 업데이트를 지원하는 HER의 증분 확장 버전이다.
• 탐색과 활용을 동시에 고려하는 공동 탐색-활용 활성 학습 전략(Joint E²)을 구현하여 인간 레이블링을 가장 정보가 많은 샘플들로 이끌어 레이블링 비용을 최소화한다.
• 대규모 계산을 효율적으로 처리하기 위해 LSQR을 사용하여 10⁴개 이상의 샘플을 포함한 데이터셋까지도 확장 가능하게 한다.
• 배치 학습 및 증분 학습 환경에서 모두 모델 성능과 학습 시간을 최신 기술 re-ID 방법과 비교한다.

실험 결과

연구 질문

• RQ1 단순한 회귀 기반 모델이 존재하는 복잡한 모델들보다 훨씬 더 빠르고 메모리 효율적이면서도 최신 기술 수준의 re-ID 성능을 달성할 수 있는가?
• RQ2 리지 회귀에 피셔 기준을 효과적으로 통합하여 계산 비용 증가 없이도 분류 성능를 유지할 수 있는가?
• RQ3 완전한 재학습 없이도 실시간 모델 업데이트를 지원하는 증분 학습이 re-ID에서 가능할 수 있는가?
• RQ4 HER+에 기반한 활성 학습이 인간 레이블링 노력의 감소를 크게 이끌어내면서도 정확도를 유지하거나 향상시킬 수 있는가?
• RQ5 대규모 re-ID 데이터셋에서 HER+를 통한 증분 업데이트의 계산 비용은 전체 재학습 대비 어떻게 비교되는가?

주요 결과

• HER는 100% 레이블 데이터로 학습했을 때 VIPeR에서 45.2%의 Rank-1 정확도, CUHK01에서 64.7%의 Rank-1 정확도를 기록하여 최신 기술 수준의 성능를 확보했다.
• HER+는 활성 학습을 통해 50% 레이블 데이터만으로도 CUHK01에서 55.8%의 Rank-1 정확도를 달성했으며, 랜덤 레이블링으로 100% 데이터를 학습한 모델를 초월했다.
• Joint E² 기준에 기반한 활성 학습은 동일한 예산 내에서 랜덤 레이블링보다 더 높은 정확도를 달성하면서도 레이블링 노력의 50%를 감소시켰다.
• HER+는 VIPeR, CUHK01, CUHK03에서 각각 0.03초, 0.2초, 0.6초의 시간 내에 증분 업데이트를 수행했으며, 배치 재학습 대비 11.5배에서 89.7배 빠른 성능를 보였다.
• 대규모 데이터셋으로 확장할 경우, HER+는 기존 모델(kLFDA, XQDA, MLAPG)을 재학습하는 것보다 10,000배 이상 빠른 성능를 보였다.
• HER+를 통한 증분 업데이트는 전체 배치 재학습 수준의 성능를 유지하며, 증분 학습으로 인한 정확도 저하가 없음을 확인했다.