[논문 리뷰] Person Re-identification with Metric Learning using Privileged Information

Xun Yang, Meng Wang외 1명|arXiv (Cornell University)|2019. 04. 10.

Video Surveillance and Tracking Methods참고 문헌 70인용 수 7

한 줄 요약

이 논문은 개인 재식별을 위한 로지스틱 판별 거리 학습 방법을 제안하며, 국소적으로 적응하는 결론 규칙을 학습하기 위해 특권 정보를 활용한다. 원래 특징 공간과 특권 특징 공간에서 동시에 거리 행렬을 최적화함으로써 전역 임계값 방법에 비해 일반화 능력을 향상시킨다. Market-1501에서 52.08%의 랭크-1 정확도와 29.10%의 mAP를 달성한다.

ABSTRACT

Despite the promising progress made in recent years, person re-identification remains a challenging task due to complex variations in human appearances from different camera views. This paper presents a logistic discriminant metric learning method for this challenging problem. Different with most existing metric learning algorithms, it exploits both original data and auxiliary data during training, which is motivated by the new machine learning paradigm - Learning Using Privileged Information. Such privileged information is a kind of auxiliary knowledge which is only available during training. Our goal is to learn an optimal distance function by constructing a locally adaptive decision rule with the help of privileged information. We jointly learn two distance metrics by minimizing the empirical loss penalizing the difference between the distance in the original space and that in the privileged space. In our setting, the distance in the privileged space functions as a local decision threshold, which guides the decision making in the original space like a teacher. The metric learned from the original space is used to compute the distance between a probe image and a gallery image during testing. In addition, we extend the proposed approach to a multi-view setting which is able to explore the complementation of multiple feature representations. In the multi-view setting, multiple metrics corresponding to different original features are jointly learned, guided by the same privileged information. Besides, an effective iterative optimization scheme is introduced to simultaneously optimize the metrics and the assigned metric weights. Experiment results on several widely-used datasets demonstrate that the proposed approach is superior to global decision threshold based methods and outperforms most state-of-the-art results.

연구 동기 및 목표

• 비중첩 카메라 뷰 간의 복잡한 외관 변화 문제를 해결한다.
• 높은 내부 클래스 및 외부 클래스 변동성이 존재할 경우 성능이 떨어지는 전역 임계값 기반 거리 학습의 한계를 극복한다.
• 학습 기간에만 이용 가능한 특권 정보를 활용하여 원래 특징 공간에서 더 견고하고 국소적으로 적응하는 거리 행렬을 학습한다.
• 다양한 상호보완적인 시각적 표현에서 동시에 거리 행렬을 학습하는 다중 뷰 설정으로 방법을 확장한다.
• 일관된 일반화를 향상시키기 위해 거리 행렬과 그 적응형 가중치를 함께 최적화하는 반복 최적화 기법을 개발한다.

제안 방법

• 원래 특징 공간(M)과 특권 특징 공간(P)에서 두 개의 마할라노비스 거리 행렬을 동시에 최적화하는 로지스틱 판별 거리 학습 프레임워크를 수립한다.
• 특권 공간의 거리 $ d_{\mathbf{P}}^2(\mathbf{x}_i^*, \mathbf{z}_i^*) $ 를 원래 공간에서의 주요 거리 행렬 $ \mathbf{M} $ 학습을 안내하는 국소적으로 적응하는 결론 임계값으로 사용한다.
• 원래 공간의 거리와 스케일된 특권 공간 거리 간의 차이를 페널티로 삼는 경험적 손실 함수를 최소화하며, 양성/음성 쌍에 대해 $ d_{\mathbf{M}}^2(\mathbf{x}_i, \mathbf{z}_i) \lessgtr \beta d_{\mathbf{P}}^2(\mathbf{x}_i^*, \mathbf{z}_i^*) $ 를 만족하도록 한다.
• 반복 최적화 알고리즘을 도입하여 $ \mathbf{M} $ 와 $ \mathbf{P} $ 를 번갈아가며 업데이트함으로써 두 거리 공간 간의 정렬을 보장한다.
• 다양한 원래 특징에서 다수의 거리 행렬을 학습하고, 공통된 특권 거리 행렬에 의해 안내하는 방식으로 다중 뷰 재식별에 방법을 확장한다.
• 유효한 마할라노비스 거리 함수를 보장하기 위해 $ \mathbf{M} $ 와 $ \mathbf{P} $ 에 모두 정규화된 양의 정부호(PSD) 제약 조건을 적용한다.

실험 결과

연구 질문

• RQ1 특권 정보를 통해 국소적으로 적응하는 결론 규칙을 가능하게 함으로써, 개인 재식별에서 거리 학습 성능을 향상시킬 수 있는가?
• RQ2 원래 공간과 특권 공간에서 거리 행렬을 동시에 학습할 경우, 특권 공간에서 고정된 유클리드 거리를 사용하는 것과 비교해 일반화 능력에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 표준 재식별 벤치마크에서 전역 임계값 기반 거리 학습 방법보다 얼마나 뛰어나게 성능을 향상시키는가?
• RQ4 다중 뷰 확장 기법은 서로 보완적인 시각적 표현을 얼마나 효과적으로 활용하여 재식별 성능을 향상시키는가?
• RQ5 특권 거리 행렬 $ \mathbf{P} $ 를 학습하는 것과 특권 공간에서 직접 유클리드 거리를 사용해 임계값으로 삼는 것의 영향은 어떠한가?

주요 결과

• 제안된 LDML+ 방법은 Market-1501 데이터셋에서 52.08%의 랭크-1 인식률과 29.10%의 mAP를 달성하며, 기준 유클리드 거리보다 랭크-1 정확도에서 13퍼센트 이상 높은 성능을 보였다.
• 특권 거리 행렬 $ \mathbf{P} $ 를 함께 학습함으로써, 특권 공간에서 직접 유클리드 거리를 사용하는 것보다 mAP에서 9퍼센트 이상 향상된 성능을 기록했다.
• 그림 5의 정규화된 거리 히스토GRAM을 통해 원래 특징 공간에서 내부 클래스 변동성을 크게 감소시키고 외부 클래스 간 분리를 증가시켰다.
• 다중 뷰 확장 기법은 서로 다른 시각적 표현 간의 상호보완성을 효과적으로 활용하여, 외관 변화에 대한 강건성을 향상시켰다.
• 반복 최적화 기법은 거리 학습과 임계값 적응을 효과적으로 균형 잡아 테스트 세트에서 일반화 능력을 향상시켰다.
• 특권 공간의 교사 모델이 강력하게 안내함으로써, 특히 저차원 특징에서 뛰어난 일반화 능력을 보였다.