[논문 리뷰] Deep Feature Learning with Relative Distance Comparison for Person Re-identification

Shengyong Ding, Liang Lin외 2명|arXiv (Cornell University)|2015. 12. 11.

Video Surveillance and Tracking Methods참고 문헌 17인용 수 4

한 줄 요약

이 논문은 쌍체 기반 학습을 사용하여 일치하는 쌍과 일치하지 않는 쌍 간의 상대적 거리를 최대화하도록 CNN을 훈련시켜, 사람 재식별을 위한 확장 가능한 딥 특징 학습 프레임워크를 제안한다. L2 거리 측도를 통한 상대적 거리 최적화와 효율적인 쌍체 생성 및 기울기 전파 기법을 도입함으로써, 훈련 이미지 수에 비례하는 계산 부하로 줄여 계산 비용을 감소시키고, 기준 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Identifying the same individual across different scenes is an important yet difficult task in intelligent video surveillance. Its main difficulty lies in how to preserve similarity of the same person against large appearance and structure variation while discriminating different individuals. In this paper, we present a scalable distance driven feature learning framework based on the deep neural network for person re-identification, and demonstrate its effectiveness to handle the existing challenges. Specifically, given the training images with the class labels (person IDs), we first produce a large number of triplet units, each of which contains three images, i.e. one person with a matched reference and a mismatched reference. Treating the units as the input, we build the convolutional neural network to generate the layered representations, and follow with the $L2$ distance metric. By means of parameter optimization, our framework tends to maximize the relative distance between the matched pair and the mismatched pair for each triplet unit. Moreover, a nontrivial issue arising with the framework is that the triplet organization cubically enlarges the number of training triplets, as one image can be involved into several triplet units. To overcome this problem, we develop an effective triplet generation scheme and an optimized gradient descent algorithm, making the computational load mainly depends on the number of original images instead of the number of triplets. On several challenging databases, our approach achieves very promising results and outperforms other state-of-the-art approaches.

연구 동기 및 목표

• 카메라 간 크고 다양한 외관 및 자세 변화 조건에서 사람 재식별 문제를 해결하기 위해.
• 분류 손실이 아닌 상대적 거리 비교에 초점을 맞춰 특징 표현 학습을 향상시키기 위해.
• 쌍체 기반 학습에서 쌍체 수가 개체 수의 세제곱으로 증가함에 따라 발생하는 계산 부담을 줄이기 위해.
• 최적화된 생성 및 전파 방식을 통해 계산 비용을 쌍체 수에서 분리함으로써 효율적이고 확장 가능한 훈련을 가능하게 하기 위해.
• 표준 사람 재식별 벤치마크에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 훈련 이미지에서 쿼리, 양성(동일한 사람), 음성(다른 사람) 이미지로 구성된 쌍체를 구성한다.
• 딥 CNN을 훈련시켜 쿼리와 양성 이미지 간의 L2 거리를 최소화하고, 음성 이미지와의 거리를 최대화하도록 한다.
• 각 반복에서 소수의 클래스만 선택하여 이미지 수를 제한하는 새로운 쌍체 생성 전략을 적용한다.
• 한 배치 내에서 여러 쌍체에 공통으로 나타나는 이미지에 대해 중복된 기울기 계산을 방지하는 확장된 역전파 알고리즘을 도입한다.
• 훈련 안정성 향상과 수렴 속도 향상을 위해 최종 특징 표현에 L2 정규화를 적용한다.
• 쌍체 간 상대적 거리 제약 조건을 강제하는 손실 함수를 사용하여 미니배치 확률적 경사 하강법을 적용한다.

실험 결과

연구 질문

• RQ1 쌍체 기반 딥 러닝 프레임워크에서 상대적 거리 최대화 전략이 큰 외관 변화 조건에서 사람 재식별 성능 향상에 기여하는가?
• RQ2 개체 수가 증가함에 따라 쌍체 수가 세제곱으로 증가할 경우, 쌍체 기반 학습의 계산 비용을 어떻게 줄일 수 있는가?
• RQ3 각 반복에서 처리하는 이미지 수를 제한하는 선택적 쌍체 생성 전략이 정확도를 희생시키지 않고 훈련 효율성을 향상시키는가?
• RQ4 특징 정규화와 데이터 증강 기법이 데이터가 적은 환경에서 모델의 일반화 능력을 어느 정도 향상시키는가?
• RQ5 기존 최신 기술 수준의 접근 방식과 비교해 본다면, 제안된 방법은 표준 재식별 벤치마크에서 어떤 성능을 보이는가?

주요 결과

• 제안된 방법은 PRID2015 데이터셋에서 상위 1위 정확도 87.9%를 달성하여 이전 최신 기술 수준의 방법들을 능가한다.
• 더 도전적인 VIPeR 데이터셋에서는 상위 1위 정확도 87.2%를 기록하여 PCCA 및 LF와 같은 기존 방법들을 크게 앞서 간다.
• 데이터 증강 없이 실험한 결과 성능이 33% 감소하여, 소규모 데이터셋에서 과적합을 방지하는 데 있어 데이터 증강의 핵심적 역할을 확인할 수 있었다.
• 특징의 L2 정규화로 상위 1위 정확도가 25% 향상되었고, 수렴 시간은 약 7,000에서 약 4,000 반복으로 단축되었다.
• 제안된 쌍체 생성 전략은 4,000 반복 만에 최적의 성능를 달성했지만, 무작위 선택 전략은 유사한 결과를 얻기 위해 20,000 반복이 필요했다.
• 특징 맵 시각화 결과, 낮은 층은 윤곽선과 무늬 특징를 학습하는 반면, 높은 층은 구분력이 높고 신원에 특화된 표현을 학습하는 것으로 확인되었다.