[논문 리뷰] Learning to rank in person re-identification with metric ensembles

Sakrapee Paisitkriangkrai, Chunhua Shen외 1명|arXiv (Cornell University)|2015. 03. 05.

Video Surveillance and Tracking Methods참고 문헌 7인용 수 55

한 줄 요약

이 논문은 사람 재식별을 위한 앙상블 거리 체계에 다수의 수작업으로 구성된 시각적 특징과 딥 뷰어럴 특징을 통합하는 구조적 학습 접근법을 제안한다. 상대적 순서 정렬(삼중체 손실을 통한 최적화)과 상위-k 인식 정확도를 동시에 고려함으로써, 이 방법은 최신 기술 수준의 성능을 달성하며, CUHK03에서 순위-1 정확도를 21%에서 62.1%로 최대 41个百分点 향상시킨다.

ABSTRACT

We propose an effective structured learning based approach to the problem of person re-identification which outperforms the current state-of-the-art on most benchmark data sets evaluated. Our framework is built on the basis of multiple low-level hand-crafted and high-level visual features. We then formulate two optimization algorithms, which directly optimize evaluation measures commonly used in person re-identification, also known as the Cumulative Matching Characteristic (CMC) curve. Our new approach is practical to many real-world surveillance applications as the re-identification performance can be concentrated in the range of most practical importance. The combination of these factors leads to a person re-identification system which outperforms most existing algorithms. More importantly, we advance state-of-the-art results on person re-identification by improving the rank-$1$ recognition rates from $40\%$ to $50\%$ on the iLIDS benchmark, $16\%$ to $18\%$ on the PRID2011 benchmark, $43\%$ to $46\%$ on the VIPeR benchmark, $34\%$ to $53\%$ on the CUHK01 benchmark and $21\%$ to $62\%$ on the CUHK03 benchmark.

연구 동기 및 목표

• 감시 시스템에서 큰 외형 변화, 자세 변화, 조명 차이가 존재하는 상황에서도 사람 재식별 문제를 해결한다.
• 고정된 가중치 융합 방식의 한계를 극복하기 위해 다양한 데이터셋에 최적화된 특징 가중치를 학습한다.
• 실제 운영 환경에서의 행동 패턴과 부합하는 상위-k 검색(예: k < 10)에 중점을 두어 실용적인 재식별 성능을 향상시킨다.
• 선형 및 비선형 메트릭 학습 방법과 모두 호환 가능한 탄력적인 프레임워크를 개발한다.
• 다양한 시각적 특징을 구조적 학습을 통해 융합함으로써 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 색상 히스토GRAM, LBP, SIFT, 텍스처 특징 등을 포함한 다수의 저수준 및 고수준 시각적 특징을 활용해 기본 메트릭의 앙상블을 구성한다.
• 두 가지 구조적 학습 목표를 사용해 특징 가중치를 최적화한다: (1) 순서 정렬 향상을 위한 삼중체 기반 상대적 거리 최대화, (2) 작은 k(예: k=1에서 10)에 대한 상위-k 인식률 최대화.
• 상위-k 인식률 목표 하에 구조적 학습 문제를 효율적으로 해결하기 위해 컷플레인 최적화를 적용한다.
• 표본 간 거리를 [0,1] 범위로 정규화하여 다양한 특징 기반 거리 함수 간 척도 일관성을 확보한다.
• 사전 정의된 가중치가 아닌 최적화 과정을 통해 학습된 가중치를 사용해 기본 메트릭의 가중 평균을 계산한다.
• 기존 메트릭 학습 기법과 앙상블 프레임워크를 통합하여 선형 및 비선형 모델 모두와의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 다양한 시각적 특징의 학습 기반 융합이 고정된 가중치 기반 앙상블 방법을 초월해 사람 재식별 성능을 향상시킬 수 있는가?
• RQ2 상위-k 인식률(예: 순위-1에서 순위-10)을 최적화하는 것이 전체 CMC 형태 최적화보다 실제 적용에 더 유리한가?
• RQ3 삼중체 기반 및 상위-k 목표를 통한 구조적 학습이 메트릭 앙상블에서 균일하거나 히우리스틱 가중치 할당 방식보다 우수한가?
• RQ4 iLIDS, VIPeR, CUHK03와 같은 도전적인 벤치마크에서 메트릭 앙상블 학습이 순위-1 정확도를 얼마나 향상시킬 수 있는가?
• RQ5 제안된 프레임워크는 기존 메트릭 학습 알고리즘과 통합되면서 성능을 저하시키지 않고도 충분히 탄력적인가?

주요 결과

• iLIDS에서 제안된 방법은 순위-1 인식률 50.3%를 달성하여 이전 연구의 40.3%에서 향상되었다.
• PRID2011에서 방법은 17.9%의 순위-1 정확도를 기록하여 이전 최고 성능인 16.0%보다 향상되었다.
• VIPeR에서 순위-1 정확도는 45.9%에 도달하여 이전 최신 기술 수준의 43.4%를 초월하였다.
• CUHK01에서 방법은 53.4%의 순위-1 정확도를 달성하여 이전 최고 성능인 34.3%를 크게 뛰어넘었다.
• CUHK03에서 방법은 62.1%의 순위-1 정확도를 기록하여 이전 최고 성능인 20.7%보다 상당히 향상되었다.
• CMC${}^\text{top}$ 최적화는 낮은 재현율(예: k ≤ 10)에서 기준 균일 가중치 방식보다 우수한 성능을 보였으며, 고재현율(예: k ≥ 50)에서는 두 방법이 수렴하였다.