[논문 리뷰] Combined Depth Space based Architecture Search For Person Re-identification

Hanjun Li, Gaojie Wu외 1명|arXiv (Cornell University)|2021. 04. 09.

Video Surveillance and Tracking Methods인용 수 16

한 줄 요약

이 논문은 사람 재식별(ReID)을 위한 새로운 미분 가능 아키텍처 탐색 프레임워크인 조합된 깊이 공간(Combined Depth Space, CDS)을 제안하며, 경량이고 효율적인 네트워크인 CDNet을 도입한다. 다중 브랜치 블록을 통한 조합 패턴 학습과 Top-k 샘플 탐색 전략을 활용하여, CDNet은 가벼운 모델 중 최고 성능을 기록한다—Market1501에서 1.8M 파라미터와 955.1M FLOPs로 95.1%의 정확도를 달성하며, 더 큰 백본과 기존의 경량 모델보다 빠른 속도와 높은 정확도를 확보한다.

ABSTRACT

Most works on person re-identification (ReID) take advantage of large backbone networks such as ResNet, which are designed for image classification instead of ReID, for feature extraction. However, these backbones may not be computationally efficient or the most suitable architectures for ReID. In this work, we aim to design a lightweight and suitable network for ReID. We propose a novel search space called Combined Depth Space (CDS), based on which we search for an efficient network architecture, which we call CDNet, via a differentiable architecture search algorithm. Through the use of the combined basic building blocks in CDS, CDNet tends to focus on combined pattern information that is typically found in images of pedestrians. We then propose a low-cost search strategy named the Top-k Sample Search strategy to make full use of the search space and avoid trapping in local optimal result. Furthermore, an effective Fine-grained Balance Neck (FBLNeck), which is removable at the inference time, is presented to balance the effects of triplet loss and softmax loss during the training process. Extensive experiments show that our CDNet (~1.8M parameters) has comparable performance with state-of-the-art lightweight networks.

연구 동기 및 목표

• ImageNet 미사전학습 백본(예: ResNet)을 사용할 경우 발생하는 한계를 극복하기 위해, 경량이며 계산 효율적이며 ReID에 최적화된 신경망 아키텍처를 설계하는 것.
• 기존 NAS의 검색 공간에서의 비효율성과 최적화되지 않은 설계를 해결하기 위해, 보행자 이미지에서 흔히 나타나는 조합 패턴 특징을 명시적으로 모델링하지 못하는 문제를 해결하는 것.
• 높은 확률을 가진 경로에만 의존하는 것에서 벗어나, 선택적으로 고확률 아키텍처 경로만 계산하는 Top-k 샘플 탐색 전략을 도입하여 검색 비용을 줄이고 국소 최적해에 갇히는 것을 방지하는 것.
• 삼중체 손실과 소프트맥스 손실 간의 충돌하는 최적화 목표를 조율하기 위해 제거 가능한 미세조절 균형 넥(removable Fine-grained Balance Neck, FBLNeck)을 제안하여 학습 안정성과 성능을 향상시키는 것.
• 해상도 및 너비 스케일링을 통한 에지 디바이스 배포 시나리오에서의 성능 평가를 통해, CDNet의 이식 가능성과 강건성을 입증하는 것.

제안 방법

• 보행자 이미지에서 다중 척도의 조합 패턴 특징을 명시적으로 학습하기 위해, 서로 다른 커널 크기를 가진 두 개의 병렬 브랜치를 갖는 조합 블록(CBlock)을 사용하는 새로운 검색 공간인 조합된 깊이 공간(Combined Depth Space, CDS)을 제안한다.
• 정방향 전파 중에 높은 가중치를 가진 상위-k 개의 연산만 계산하는 Top-k 샘플 탐색 전략을 도입하여 검색 비용을 감소시키고, 국소 최적해에 조기에 수렴하는 것을 방지한다.
• 이전 방법이 층 간에 동일한 셀을 재사용하는 데 반해, 각 층마다 독립적으로 셀을 탐색할 수 있는 계층별 아키텍처 탐색 전략을 설계하여 깊이에 맞는 패턴 학습을 가능하게 한다.
• 삼중체 손실과 소프트맥스 손실 간의 충돌하는 최적화 목표를 스트립 기반 지역 특징 통합 메커니즘을 통해 조율하는 제거 가능한 미세조절 균형 넥(Fine-grained Balance Neck, FBLNeck)을 개발한다.
• 학습 중 삼중체 손실과 소프트맥스 손실을 동시에 최적화하는 수정된 검색 목표를 사용하여, 미분 가능 아키텍처 탐색(DARTS)을 적용한다.
• 에지 디바이스에 적합한 배포를 위해 너비 배율 β와 해상도 배율 γ를 활용하여 CDNet을 스케일링하며, 저자원 환경에 대한 효율적 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 보행자 이미지에서의 조합 패턴 특징을 명시적으로 고려한 검색 공간이, 표준 NAS 검색 공간보다 ReID 성능 향상에 기여하는가?
• RQ2 단일 높은 확률 경로에 의존하지 않고 상위-k 샘플을 선택적으로 계산하는 Top-k 샘플 탐색 전략이 검색 비용을 줄이고 검색 품질을 향상시키는가?
• RQ3 제거 가능한 FBLNeck이 삼중체 손실과 소프트맥스 손실의 최적화를 효과적으로 조율하여 ReID에서 더 나은 일반화 성능을 이끌어내는가?
• RQ4 검색된 CDNet의 성능이 기존의 경량 ReID 모델 대비 정확도, 파라미터 수, FLOPs 측면에서 어떻게 비교되는가?
• RQ5 ReID 전용으로 훈련된 CDNet이 이미지 분류 작업인 ImageNet에 대해 얼마나 잘 일반화되는가?

주요 결과

• CDNet은 Market1501에서 1.8M 파라미터와 955.1M FLOPs로 95.1%의 랭크-1 정확도와 86.0%의 mAP를 기록하며, 더 큰 모델인 BagofTrick(25.1M 파라미터)과 OSNet(2.2M 파라미터)보다 정확도와 추론 속도 모두 뛰어나다.
• Top-k 샘플 탐색 전략은 검색 비용을 감소시키면서도 국소 최적해에 갇히는 것을 방지하여 CDS 검색 공간의 효과적인 탐색을 가능하게 한다.
• FBLNeck을 OSNet에 통합할 경우 성능 향상이著명하며, mAP와 랭크-1 정확도가 증가하고, 추론 시에 제거 가능하여 모델 크기를 줄일 수 있다.
• CDNet은 ImageNet으로의 일반화 성능이 뛰어나, MobileNetV2보다 파라미터 수가 적은 75.1%의 상위-1 정확도를 달성하며, DARTS와 GDAS보다 각각 1.8%, 1.1% 높은 성능을 기록한다.
• 너비 및 해상도 배율을 통한 CDNet 스케일링은 강력한 성능 유지에 기여한다—β=0.25, γ=0.5일 때 91.7% 랭크-1 및 79.7% mAP 성능을 기록하며, β=0.25, γ=1.0일 때도 91.7%/79.7% 성능을 유지하나 파라미터 수는 0.1M, FLOPs는 77.9M에 불과하다.
• CDNet은 강력한 에지 배포 잠재력을 보이며, RTX 2080에서 추론 시간이 142.4ms로, 유사하거나 더 높은 정확도를 가진 모델들보다 훨씬 빠르다.