[논문 리뷰] Deep High-Resolution Representation Learning for Cross-Resolution Person Re-identification

Guoqing Zhang, Yu Ge외 4명|arXiv (Cornell University)|2021. 05. 25.

Video Surveillance and Tracking Methods참고 문헌 78인용 수 102

한 줄 요약

이 논문은 저해상도 및 고해상도 이미지 간의 분포 차이를 줄이기 위해 새로운 VDSR-CA 초해상도 모듈과 HRNet-ReID 특징 추출기로 구성된 깊이 있는 고해상도 허위-시아모이즈 프레임워크인 PS-HRNet을 제안한다. 이는 다섯 개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, Rank-1 정확도를 3.4%에서 6.2%까지 향상시킨다.

ABSTRACT

Person re-identification (re-ID) tackles the problem of matching person images with the same identity from different cameras. In practical applications, due to the differences in camera performance and distance between cameras and persons of interest, captured person images usually have various resolutions. We name this problem as Cross-Resolution Person Re-identification which brings a great challenge for matching correctly. In this paper, we propose a Deep High-Resolution Pseudo-Siamese Framework (PS-HRNet) to solve the above problem. Specifically, in order to restore the resolution of low-resolution images and make reasonable use of different channel information of feature maps, we introduce and innovate VDSR module with channel attention (CA) mechanism, named as VDSR-CA. Then we reform the HRNet by designing a novel representation head to extract discriminating features, named as HRNet-ReID. In addition, a pseudo-siamese framework is constructed to reduce the difference of feature distributions between low-resolution images and high-resolution images. The experimental results on five cross-resolution person datasets verify the effectiveness of our proposed approach. Compared with the state-of-the-art methods, our proposed PS-HRNet improves 3.4\%, 6.2\%, 2.5\%,1.1\% and 4.2\% at Rank-1 on MLR-Market-1501, MLR-CUHK03, MLR-VIPeR, MLR-DukeMTMC-reID, and CAVIAR datasets, respectively. Our code is available at \url{https://github.com/zhguoqing}.

연구 동기 및 목표

• 실제 감시 시스템에서 해상도가 일관되지 않은 인물 이미지 간 매칭 문제를 해결하기 위해.
• 인물 재식별에서 저해상도(LR) 및 고해상도(HR) 특징 분포 간 도메인 이동을 줄이기 위해.
• 초해상도 네트워크에 채널 주의 메커니즘을 통합하여 저해상도 이미지의 특징 표현 학습을 향상시키기 위해.
• 재식별에 더 잘 적합한 다중해상도 특징을 효과적으로 캡처할 수 있도록 설계된 HRNet 기반의 전용 백본(HRNet-ReID)을 개발하기 위해.
• 초해상도 및 재식별 특징을 동시에 최적화하는 허위-시아모이즈 학습 전략을 개발하기 위해.

제안 방법

• 채널 주의를 통합한 수정된 VDSR인 VDSR-CA를 제안하여 고주파 성분 복구 능력과 저해상도 이미지 내 의미론적 특징 학습 능력을 향상시킨다.
• HRNet-W32에 적합한 새로운 표현 헤드인 HRNet-ReID를 도입하여 인물 재식별을 위한 효과적인 다중해상도 특징 추출을 가능하게 한다.
• 두 개의 브랜치(고해상도 이미지용 및 저해상도 이미지용)를 가진 허위-시아모이즈 프레임워크를 활용하여 학습 중에 특징 분포를 정렬한다.
• 이중 단계 학습 전략을 적용한다: 먼저 HRNet-ReID를 고해상도 재식별 데이터셋에서 사전 학습하고, 이후 교차해상도 데이터셋에서 VDSR-CA와 HRNet-ReID를 공동으로 미세조정한다.
• 고차원 특징 맵을 압축하면서도 질감 및 전반적 맥락 정보를 유지하기 위해 HRNet-ReID 헤드에서 적응형 평균 풀링과 최대 풀링을 동시에 적용한다.
• 네트워크의 다중 스테이지에서 특징 학습을 최적화하기 위해 순차 기반 손실 함수(Seq(n), ℓc)를 활용한다.

실험 결과

연구 질문

• RQ1 채널 주의를 통합한 경량 초해상도 모듈이 복잡한 SR 네트워크보다 교차해상도 인물 재식별에서 더 우수한 성능을 낼 수 있는가?
• RQ2 표준 ResNet 기반 백본과 비교해 볼 때, 맞춤형 표현 헤드를 갖춘 HRNet이 교차해상도 재식별에서 특징의 분류 능력을 향상시키는가?
• RQ3 허위-시아모이즈 프레임워크가 저해상도 및 고해상도 특징 공간 간의 분포 격차를 효과적으로 줄일 수 있는가?
• RQ4 초해상도 및 재식별 모듈을 동시에 학습시키는 것이 사전 학습 또는 엔드 투 엔드 학습만으로 수행하는 것보다 더 효과적인가?
• RQ5 VDSR-CA와 HRNet-ReID의 조합이 여러 교차해상도 벤치마크에서 뛰어난 성능을 내는가?

주요 결과

• PS-HRNet는 다섯 개의 교차해상도 인물 재식별 벤치마크에서 최신 기술 수준의 성능을 달성하며, MLR-Market-1501에서 Rank-1 정확도를 3.4% 향상시켰다.
• VDSR-CA 모듈은 SRCNN 및 원본 VDSR를 능가하며, 더 가벼운 아키텍처로 RCAN 수준의 성능을 달성한다.
• HRNet-ReID는 Market-1501 및 DukeMTMC-reID 양쪽에서 HRNet-W32-C 및 ResNet-50, DenseNet-121 등의 다른 백본보다 뚜렷한 성능 향상을 보였다.
• Seq(1), Seq(4), Seq(5), ℓc의 조합이 허위-시아모이즈 프레임워크에서 최고의 성능을 내었으며, MLR-Market-1501에서 91.5%의 Rank-1 정확도를 기록했다.
• 허위-시아모이즈 환경에서 VDSR-CA와 HRNet-ReID를 공동으로 학습시킴으로써 특징 분포의 이격을 줄이고 일반화 능력을 향상시켰다.
• HRNet-ReID에서 적응형 평균 풀링과 최대 풀링을 동시에 사용함으로써, 각각을 별도로 사용하는 것보다 더 높은 인식 정확도를 달성했다.