[논문 리뷰] Open-set Person Re-identification

Shengcai Liao, Zhipeng Mo외 3명|arXiv (Cornell University)|2014. 08. 05.

Video Surveillance and Tracking Methods참고 문헌 25인용 수 32

한 줄 요약

이 논문은 프로브 대상자가 갤러리에 존재하는지 탐지하고 존재할 경우 해당 신원을 식별해야 하는 오픈셋(person re-identification) 문제를 제시한다. 저자들은 200명의 인물과 7,413장의 이미지를 포함하는 다중 카메라 데이터셋을 사용하여 새로운 벤치마크를 제안하며, 거기서 메트릭 학습 알고리즘을 평가한다. RRDA가 가장 뛰어난 성능를 보였지만, 전체적으로 성능는 여전히 열악하여 문제 해결이 거의 이루어지지 않은 상태이며, 향후 연구가 필요하다.

ABSTRACT

Person re-identification is becoming a hot research for developing both machine learning algorithms and video surveillance applications. The task of person re-identification is to determine which person in a gallery has the same identity to a probe image. This task basically assumes that the subject of the probe image belongs to the gallery, that is, the gallery contains this person. However, in practical applications such as searching a suspect in a video, this assumption is usually not true. In this paper, we consider the open-set person re-identification problem, which includes two sub-tasks, detection and identification. The detection sub-task is to determine the presence of the probe subject in the gallery, and the identification sub-task is to determine which person in the gallery has the same identity as the accepted probe. We present a database collected from a video surveillance setting of 6 cameras, with 200 persons and 7,413 images segmented. Based on this database, we develop a benchmark protocol for evaluating the performance under the open-set person re-identification scenario. Several popular metric learning algorithms for person re-identification have been evaluated as baselines. From the baseline performance, we observe that the open-set person re-identification problem is still largely unresolved, thus further attention and effort is needed.

연구 동기 및 목표

• 실제 감시 환경에서 갤러리에 존재하지 않을 수 있는 프로브 대상자에 대해 닫힌셋(person re-identification)의 한계를 해결한다.
• 존재 여부 탐지(갤러리 내 존재 여부)와 신원 매칭(식별) 작업을 모두 포함하는 현실적인 오픈셋 인물 재식별을 위한 벤치마크를 개발한다.
• 메트릭 학습 알고리즘의 미리 보지 않은 인물과 알려지지 않은 카메라 시점에 대한 일반화 능력을 평가한다.
• 오픈셋 인물 재식별 분야의 연구를 촉진하기 위해 공개된 데이터셋, 특징, 벤치마크 도구를 제공한다.
• 오픈셋 조건 하에서 현재 기법들 간의 심각한 성능 격차를 부각시키며, 향후 알고리즘 개선의 필요성을 강조한다.

제안 방법

• 6대의 카메라에서 확보한 다중 카메라 감시 데이터셋을 수집하여 200명의 인물과 7,413장의 분할된 이미지로 구성된 OPeRID v1.0 데이터셋을 구성한다.
• 4개의 서브셋(학습, 갤러리, 진짜 프로브, 위조 프로브)을 포함하는 벤치마크 프로토콜을 설계하며, 테스트 세트 = 갤러리 + 프로브(진짜 + 위조)로 구성된다.
• 학습 세트에서 일반적인 카메라 독립적 인물 재식별 모델을 학습시켜, 미리 보지 않은 인물과 카메라 시점에 대한 일반화 능력을 평가한다.
• 다양한 메트릭 학습 알고리즘을 구현하고 평가한다: Identity (유클리드), MAHAL (마할라노비스), LMNN, ITML, KISSME, LADF, 그리고 새로운 릿지 회귀 기반의 판별 분석(RRDA).
• RRDA에서 유도된 부분공간에서 코사인 유사도를 사용하여 유사도 측정을 수행하고, 오픈셋 탐지를 위해 임계값 기반 규칙을 적용한다.
• ROC 곡선(순위=1 및 순위=10), FAR=1% 및 10%에서의 CMC 곡선, 고정된 FAR에서의 탐지/식별률을 사용하여 성능를 평가한다.

실험 결과

연구 질문

• RQ1 기존 메트릭 학습 알고리즘이 프로브 대상자가 갤러리에 존재하지 않을 수 있는 오픈셋 인물 재식별 환경에서 얼마나 잘 일반화되는가?
• RQ2 실제 형사적 감시 조건 하에서, 닫힌셋과 오픈셋 인물 재식별 간의 성능 격차는 어느 정도인가?
• RQ3 어느 메트릭 학습 알고리즘이 갤러리에 프로브 대상자가 존재하는지 탐지하고, 존재할 경우 이를 식별하는 데 가장 잘 작동하는가?
• RQ4 릿지 회귀를 통한 판별 부분공간(RRDA) 사용이 다른 방법에 비해 오픈셋 탐지 및 식별 성능를 얼마나 향상시키는가?
• RQ5 고정된 거짓 수락률(FAR=1% 및 10%) 조건에서 오픈셋 설정에서 탐지율과 식별율은 어떻게 변하는가?

주요 결과

• 실제 운영 조건에서 모든 평가된 알고리즘에서 열악한 성능를 보이며, 오픈셋 인물 재식별 문제는 여전히 대부분 해결되지 않은 상태임을 확인할 수 있다.
• FAR=1%에서 가장 우수한 성능를 보인 RRDA도 순위=1일 때 탐지율이 3.99%에 불과하고, 순위=10일 때는 4.35%에 머물러 있어, 미리 보지 않은 신원에 대한 일반화 능력이 열악함을 시사한다.
• FAR=10%일 때 RRDA는 순위=1에서 14.51%의 탐지율, 순위=10에서 16.72%의 탐지율을 기록했지만, 여전히 실용적 수준에 도달하지 못해 최상의 성능임에도 불구하고 부족한 성능를 보인다.
• 모든 알고리즘이 순위 10 이상에서 거의 향상되지 않음을 확인하여, 낮은 순위에서의 진짜 매칭 점수들이 일관되게 결정 임계값 이하에 머물러 있음을 시사한다.
• 최고의 알고리즘(RRDA)의 성능도 FAR=10%일 때 17% 이하의 탐지율을 기록하여, 새로운 방법 개발의 절박한 필요성을 부각시킨다.
• 간단한 RRDA 방법이 KISSME, MAHAL, LADF를 포함한 모든 기준 모델보다 뛰어난 성능를 보이며, 오픈셋 환경에서의 강건성을 입증한다.