[논문 리뷰] Deep Spatial Feature Reconstruction for Partial Person Re-identification: Alignment-Free Approach

Lingxiao He, Jian Liang외 2명|arXiv (Cornell University)|2018. 01. 03.

Video Surveillance and Tracking Methods참고 문헌 26인용 수 48

한 줄 요약

DSR는 Fully Convolutional Network를 이용하여 고정 크기 공간 특징 맵을 생성하고 probe와 gallery 블록 간의 희소 재구성으로 정렬 없는 부분 인물 재식별(partial person re-id)을 제안한다. Partial REID와 Partial-iLIDS에서 강력한 결과를, Market1501에서도 경쟁력 있는 결과를 달성한다.

ABSTRACT

Partial person re-identification (re-id) is a challenging problem, where only several partial observations (images) of people are available for matching. However, few studies have provided flexible solutions to identifying a person in an image containing arbitrary part of the body. In this paper, we propose a fast and accurate matching method to address this problem. The proposed method leverages Fully Convolutional Network (FCN) to generate fix-sized spatial feature maps such that pixel-level features are consistent. To match a pair of person images of different sizes, a novel method called Deep Spatial feature Reconstruction (DSR) is further developed to avoid explicit alignment. Specifically, DSR exploits the reconstructing error from popular dictionary learning models to calculate the similarity between different spatial feature maps. In that way, we expect that the proposed FCN can decrease the similarity of coupled images from different persons and increase that from the same person. Experimental results on two partial person datasets demonstrate the efficiency and effectiveness of the proposed method in comparison with several state-of-the-art partial person re-id approaches. Additionally, DSR achieves competitive results on a benchmark person dataset Market1501 with 83.58\% Rank-1 accuracy.

연구 동기 및 목표

• Occlusion이나 시점 변화로 인해 이미지가 몸의 일부만 포착되는 부분 인물 재식별을 동기로 삼는다.
• 임의의 크기의 이미지를 처리하는 빠르고 정렬-free 매칭 프레임워크를 개발한다.
• 희소 재구성을 딥 러닝과 결합하여 같은 신원(features)보다 다른 신원과의 재구성이 더 잘 이루어지도록 한다.
• 스케일 변화를 다루기 위해 다중 스케일 블록 표현으로 강건성을 강화한다.

제안 방법

• 임의 크기 입력에서 고정 크기 공간 특징 맵을 생성하기 위해 Fully Convolutional Network (FCN)을 사용한다.
• probe와 gallery 특징 맵을 블록으로 나누고 각 probe 블록이 gallery 블록으로부터 L1 정규화를 통해 재구성되는 희소 재구성 문제를 형성한다.
• reconstruction-based similarity score d = (1/N) ||X - YW||F^2 를 정의하여 probe와 gallery 맵을 비교한다. 여기서 W는 희소 계수를 포함한다.
• FCN을 식별 손실(softmax/entropy 손실)과 동일 신원 쌍에 대해 X - YW를 최소화하고 다른 신원 쌝에 대해 최대화하는 검증 신호를 결합하여 end-to-end로 학습한다.
• 스케일 변 Variation에 대한 강건성을 높이기 위해 다중 스케일 블록 표현(1x1, 2x2, 3x3)을 도입하고 효율성을 위해 스케일 간 특징을 공유한다.
• 희소 코딩 단계와 SGD 기반 역전파를 포함하는 교대 최적화 알고리즘을 적용하여 재구성 계수 W와 FCN 매개변수 θ를 순차적으로 업데이트한다.

실험 결과

연구 질문

• RQ1 정렬이 필요 없는 패치 기반 매칭 프레임워크가 부분 보행 관찰에서 개체를 정확히 식별할 수 있는가?
• RQ2 희소 재구성과 FCN 특징의 통합이 부분 가림 아래 동일 신원/다른 신원 쌍의 구별력을 향상시키는가?
• RQ3 다중 스케일 블록 표현이 부분 인물 재식별의 스케일 변 Variation에 대한 강건성을 향상시키는가?
• RQ4 DSR이 Partial REID와 Partial-iLIDS에서 기존의 부분 인물 재식별 방법에 비해 어떤 성능을 보이고, Market1501 같은 전체 데이터세트에서의 성능은 어떠한가?

주요 결과

Method	Partial REID r=1	Partial REID r=3	Partial-iLIDS r=1	Partial-iLIDS r=3
Resizing model	19.33	32.67	21.85	36.97
SWM [32]	24.33	45.00	33.61	47.06
AMC [32]	33.33	46.00	46.78	64.75
AMC+SWM [32]	36.00	51.00	49.58	63.34
DSR (single-scale)	39.33	55.67	51.06	61.66
DSR (multi-scale)	43.00	60.33	54.58	64.50

• DSR은 단일 샷 및 다중 샷 설정에서 Partial REID와 Partial-iLIDS에 대해 리사이징 기반 기준선(resizing baseline)을 능가한다.
• 단일 스케일 DSR은 Baselines보다 높은 rank-1 정확도를 달성한다(예: Partial REID 39.33% 대 리사이징 19.33%; r=1에서). 다중 스케일 DSR은 결과를 더욱 개선한다(Partial REID 43.00%, Partial-iLIDS 60.33% in single-shot).
• 다중 샷 실험에서 DSR은 상당한 이득을 얻는다(Partial REID: 단일 스케일 49.33% 및 다중 스케일 53.67%; Partial-iLIDS: 54.67% 및 55.46% respectively for r=1).
• 다중 스케일 블록을 가진 DSR은 Partial REID 및 Partial-iLIDS에서 비교 방법들 중 최고 성능을 달성한다(예: Partial-iLIDS의 r=1에서 60.33% 대 55.67%; r=3에서 AMC+SWM의 53.67% 대 49.58%).
• Market1501 전체 데이터에서 다중 스케일 블록을 사용한 DSR은 83.58% rank-1 및 64.25% mAP를 달성하여, DSR 특징과 융합될 경우 여러 기준선보다 경쟁력이 있거나 우수하다.