[논문 리뷰] Resource Aware Person Re-identification across Multiple Resolutions

Yan Wang, Lequn Wang외 7명|arXiv (Cornell University)|2018. 05. 22.

Video Surveillance and Tracking Methods인용 수 16

한 줄 요약

이 논문은 깊이 있는 컨volution 네트워크의 다양한 레이어에서 다중 수준 특징을 심층적 감독을 통해 융합하는 자원 인지(person re-identification) 모델을 제안한다. 저수준(고해상도) 및 고수준(의미론적) 임bedding을 결합함으로써, 다섯 가지 벤치마크에서 최신 기술 수준의 정확도를 달성하고, 자원 제약 조건 하에서 정확도와 계산 비용 사이의 동적 트레이드오프를 가능하게 한다.

ABSTRACT

Not all people are equally easy to identify: color statistics might be enough for some cases while others might require careful reasoning about high- and low-level details. However, prevailing person re-identification(re-ID) methods use one-size-fits-all high-level embeddings from deep convolutional networks for all cases. This might limit their accuracy on difficult examples or makes them needlessly expensive for the easy ones. To remedy this, we present a new person re-ID model that combines effective embeddings built on multiple convolutional network layers, trained with deep-supervision. On traditional re-ID benchmarks, our method improves substantially over the previous state-of-the-art results on all five datasets that we evaluate on. We then propose two new formulations of the person re-ID problem under resource-constraints, and show how our model can be used to effectively trade off accuracy and computation in the presence of resource constraints. Code and pre-trained models are available at https://github.com/mileyan/DARENet.

연구 동기 및 목표

• 모든 이미지에 대해 동일한 고수준 임베딩을 사용하는 기존 person re-ID 모델의 한계를 해결한다.
• 초기 네트워크 레이어에서의 세밀한 공간적 세부 정보를 활용하여 식별이 어려운 개인의 정확도를 향상시킨다.
• 신뢰도 또는 거리 메트릭을 기반으로 한 조기 종료 전략을 통해 식별이 쉬운 개인에 대한 불필요한 계산을 줄인다.
• 다양한 계산 비용 수준과 해당 정확도 수준을 제공함으로써 자원 제약 조건 하에서 효율적인 추론을 가능하게 한다.
• 실제 환경 배포를 위해 고정밀도 및 저비용 추론 모드를 모두 지원하는 통합 모델을 개발한다.

제안 방법

• ResNet-50 백본의 여러 단계에서 특징 임베딩을 융합하여 저수준(초기) 및 고수준(후기) 표현을 결합한다.
• 모든 단계에서 재식별(re-ID) 작업을 최적화하기 위해 각 중간 특징 헤드를 삼중손실(triplet loss)로 훈련함으로써 심층적 감독을 적용한다.
• 신뢰도 마진(두 번째로 가까운 이웃까지의 거리) 또는 최단 갤러리 거리 기반의 조기 종료 전략을 사용하여 계산량을 줄인다.
• 질의(query)가 사전 정의된 임계값에 따라 어떤 단계에서든 종료할 수 있도록 다단계 추론 파이프라인을 구현한다.
• 모든 단계에서 공동 최적화를 통해 종합적으로 훈련함으로써 각 단계에서의 일致성과 성능을 보장한다.
• 실시간 자원 제약 조건 하의 추론을 시뮬레이션하기 위해 예산 부여 스트리밍 설정(budgeted streaming setting)을 도입하며, 계산 비용은 FLOPs(Mul-Adds)로 추적한다.

실험 결과

연구 질문

• RQ1 단일 깊이 신경망에서 다중 수준 특징 융합이 다양한 신원 식별 난이도 수준에서 person re-identification 정확도를 향상시킬 수 있는가?
• RQ2 단일 모델이 추론 시 정확도와 계산 비용 사이의 동적 트레이드오프를 어떻게 지원할 수 있는가?
• RQ3 정확도를 유지하면서 추론 비용을 줄이는 데 효과적인 조기 종료 기준은 무엇인가?
• RQ4 제안된 방법이 표준 및 자원 제약 조건 하의 re-ID 환경에서 최신 기술 수준의 모델을 초월할 수 있는가?
• RQ5 저수준 및 고수준 특징은 식별에 어떻게 다르게 기여하며, 그 융합은 어떤 방식으로 강건성을 향상시키는가?

주요 결과

• 제안된 모델은 다섯 가지 표준 person re-ID 벤치마크에서 모두 최신 기술 수준의 성능을 달성하며, CMC Rank-1 정확도에서 이전 방법을 능가한다.
• 예산 부여 스트리밍 설정에서, 마진 기반 조기 종료 전략이 무작위 또는 거리 기반 방법보다 더 낮은 계산 비용으로 더 높은 정확도를 달성한다.
• 융합된 특징 표현은 개별 단계보다 일관되게 식별 성능을 향상시키며, 특히 저수준 및 고수준 특징이 서로 다를 때 하드 예제에서 두드러진다.
• 시각화 결과는 초기 단계의 특징이 쉽게 식별되는 케이스(예: 특징적인 옷차림)에 효과적이며, 후기 단계의 특징은 자세나 시점 변화를 다루는 데 유용하다는 것을 확인한다.
• 모델는 Market-1501 데이터셋에서 저예산일 경우 약 60%에서 고예산일 경우 85% 이상으로 CMC Rank-1 정확도가 증가하는 등 정확도와 계산량 사이의 매끄러운 트레이드오프를 가능하게 한다.
• 이 방법은 person re-ID 분야에서 동적 자원 인지 추론을 가능하게 하는 최초의 방법으로, 단일 고정 모델이 아닌 다양한 성능 포인트 스펙트럼을 제공한다.