[논문 리뷰] SVDNet for Pedestrian Retrieval

Yifan Sun, Liang Zheng외 2명|arXiv (Cornell University)|2017. 03. 16.

Video Surveillance and Tracking Methods참고 문헌 24인용 수 123

한 줄 요약

SVDNet은 CNN의 마지막 완전 연결층을 반복적 SVD 기반 상관 제거(RRI)로 분리하고, Market-1501, CUHK03, DukeMTMC-reID에서 사람 재식별 정확도를 향상시킨다.

ABSTRACT

This paper proposes the SVDNet for retrieval problems, with focus on the application of person re-identification (re-ID). We view each weight vector within a fully connected (FC) layer in a convolutional neuron network (CNN) as a projection basis. It is observed that the weight vectors are usually highly correlated. This problem leads to correlations among entries of the FC descriptor, and compromises the retrieval performance based on the Euclidean distance. To address the problem, this paper proposes to optimize the deep representation learning process with Singular Vector Decomposition (SVD). Specifically, with the restraint and relaxation iteration (RRI) training scheme, we are able to iteratively integrate the orthogonality constraint in CNN training, yielding the so-called SVDNet. We conduct experiments on the Market-1501, CUHK03, and Duke datasets, and show that RRI effectively reduces the correlation among the projection vectors, produces more discriminative FC descriptors, and significantly improves the re-ID accuracy. On the Market-1501 dataset, for instance, rank-1 accuracy is improved from 55.3% to 80.5% for CaffeNet, and from 73.8% to 82.3% for ResNet-50.

연구 동기 및 목표

• 분류 학습 이후 FC 층 가중 벡터의 중복성(redundancy)을 해결하여 re-ID의 동기를 제시한다.
• FC 층에서 직교 투영 방향을 생성하기 위한 상관 제거 기법을 제안한다.
• 직교성을 점진적으로 강제하고 판별력을 유지하기 위해 세 단계의 제약-완화 반복(RRI) 학습을 개발한다.
• 대규모 re-ID 벤치마크에서 SVDNet를 평가하고 최신 방법과 비교한다.

제안 방법

• 펜ultimate FC층을 SVD로 얻은 직교 가중치를 가진 Eigenlayer로 표현한다.
• W = USV^T에서 얻은 US로 바꿔 투영 방향의 상관을 제거하면서 임베딩의 판별력을 보존한다.
• 세 단계 학습 루프를 적용한다: (1) SVD에 의한 상관 제거(W ← US); (2) Eigenlayer를 고정한 상태에서 재제약; (3) Eigenlayer를 고정 해제한 상태에서 재완화를 지속하며 여러 RRIs 반복.
• 최종 FC층 이전에 Eigenlayer를 사용(바이어스 없음; 선형)하여 직교성을 강제하고 유클리드 거리 기반 검색을 위한 향상된 임베딩을 생성한다.
• 백본으로 CaffeNet과 ResNet-50을 사용하고, Eigenlayer 차원(실험에서 1024)과 1,024 차원의 임베딩을 검색에 활용한다.

실험 결과

연구 질문

• RQ1 SVD를 통해 마지막에서 두 번째 FC층의 상관 제거가 구분력을 해치지 않으면서 유클리드 거리 기반 re-ID 검색을 개선할 수 있는가?
• RQ2 반복적 제약-완화 학습이 직교 가중치 행렬로 수렴하고 지속적인 성능 향상을 가져오는가?
• RQ3 Eigenlayer의 직교성이 re-ID 작업에서 입력 임베딩과 출력 임베딩 모두에 어떤 영향을 미치는가?

주요 결과

• SVDNet은 베이스라인에 비해 Market-1501, CUHK03, DukeMTMC-reID에서 rank-1 및 mAP를 크게 향상시킨다.
• Market-1501에서 CaffeNet으로 FC6의 경우 rank-1이 55.3%에서 80.5%로, mAP가 30.4%에서 55.9%로 향상되며 FC7의 경우 rank-1이 54.6%에서 79.0%로, mAP가 30.3%에서 54.6%로 향상된다.
• ResNet-50을 사용할 경우 베이스라인 대비 상당한 이득을 얻으며 (예: DukeMTMC-reID rank-1 76.7%, mAP 56.8%; Market-1501 82.3/62.1)
• W를 US로 대체하면 판별력이 유지되면서 상관 제거가 개선되나, 다른 상관 제거 방법은 성능을 악화시킨다.
• SVDNet는 실제로 제한된 RRIs 수(예: ResNet-50의 경우 7 RRIs, CaffeNet의 경우 25) 내에서 수렴하며, 직교성을 모니터링하기 위해 상관 메트릭 S(W)를 사용한다(S(W) 가 1/k 방향으로 증가).
• Eigenlayer의 출력 차원은 성능과 중복성 사이의 균형을 이루며, 최적점 이후 차원이 증가하면 성능이 저하되기 시작한다.