[논문 리뷰] Person Re-identification Meets Image Search

Liang Zheng, Liyue Shen외 4명|arXiv (Cornell University)|2015. 02. 07.

Video Surveillance and Tracking Methods참고 문헌 30인용 수 63

한 줄 요약

이 논문은 공간적 및 다중 쿼리 모델링을 통한 비지도 Bag-of-Words (BoW) 표현을 사용하여 인물 재식별을 이미지 검색 문제로 간주하는 방법을 제안하며, 검색 속도를 두 개 이상의 주기수만큼 향상시키면서도 경쟁 가능한 정확도를 달성한다. 또한 DPM 검출기로 추출한 바운딩 박스, 방해 요소, 다중 쿼리/다중 진짜 레이블을 포함한 Market-1501 데이터셋을 도입하여 현실적인 평가를 가능하게 한다.

ABSTRACT

For long time, person re-identification and image search are two separately studied tasks. However, for person re-identification, the effectiveness of local features and the "query-search" mode make it well posed for image search techniques. In the light of recent advances in image search, this paper proposes to treat person re-identification as an image search problem. Specifically, this paper claims two major contributions. 1) By designing an unsupervised Bag-of-Words representation, we are devoted to bridging the gap between the two tasks by integrating techniques from image search in person re-identification. We show that our system sets up an effective yet efficient baseline that is amenable to further supervised/unsupervised improvements. 2) We contribute a new high quality dataset which uses DPM detector and includes a number of distractor images. Our dataset reaches closer to realistic settings, and new perspectives are provided. Compared with approaches that rely on feature-feature match, our method is faster by over two orders of magnitude. Moreover, on three datasets, we report competitive results compared with the state-of-the-art methods.

연구 동기 및 목표

• Bag-of-Words 기법을 재식별에 적용하여 인물 재식별과 이미지 검색 간 격차를 해소한다.
• 기존 재식별 방법에서의 브루트 포스 특징 매칭의 비효율성을 히스토그램 기반 표현을 통해 해결한다.
• 검출기로 생성된 바운딩 박스, 방해 요소, 다중 쿼리 설정을 포함한 대규모 데이터셋을 도입하여 더 현실적인 벤치마킹을 개발한다.
• 실제 검출 오류와 복잡한 배경 조건 하에서 재식별 방법의 강건성을 평가한다.
• 미래의 지도 학습 및 비지도 학습 향상에 대한 확장 가능한, 효율적이고 효과적인 기준점을 제공한다.

제안 방법

• 로컬 특징에 기반한 코드북을 학습하여 비지도 Bag-of-Words (BoW) 표현을 구성하며, TF-IDF 가중치를 사용해 시각적 단어 히스토그램을 생성한다.
• 이미지를 수평 스트립으로 분할하여 공간 제약 조건을 통합하고, 공간 풀링을 통해 기하학적 정보를 유지한다.
• 동일한 신원에 속하는 여러 쿼리를 하나의 벡터로 통합하여 외관 변동성을 다루고 강건성을 향상시킨다.
• 내적 곱 비교를 통한 유사도 점수를 이용해 초기 순위 목록을 개선하기 위해 후처리 리랭킹 단계를 적용한다.
• 루트 기술자, 부정적 증거, 버스트니스 가중치를 통합하여 특징 표현 품질을 향상시킨다.
• 색상 이름(CN)과 HS 히스토그램(HS) 특징의 조합을 사용하며, 융합을 통해 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 공간적 및 다중 쿼리 모델링을 통한 Bag-of-Words 모델이 검색 효율을 크게 향상시키면서도 경쟁 가능한 재식별 정확도를 달성할 수 있는가?
• RQ2 DPM 검출기로 추출한 바운딩 박스와 방해 요소 이미지를 포함할 경우, 현실적인 환경에서 재식별 성능에 어떤 영향을 미치는가?
• RQ3 비지도 BoW 표현이 최신 지도 학습 방법에 비해 성능을 뒤지지 않고도 경쟁 가능한 성능을 내는가?
• RQ4 초기 순위가 열악한 경우에도 자동 리랭킹이 초기 검색 결과를 얼마나 효과적으로 향상시키는가?
• RQ5 Market-1501과 같은 대규모이고 현실적인 데이터셋이 실제 환경 조건에서 재식별 알고리즘 평가에 강건한 벤치마크로 기능할 수 있는가?

주요 결과

• 제안된 BoW 기반 방법은 SDC 및 SDALF 대비 검색 속도를 두 개 이상의 주기수만큼 향상시켰으며, 표준 서버에서 이미지당 총 0.03초의 시간이 소요된다.
• VIPeR 데이터셋에서 CN, HS, eSDC 특징을 융합한 결과 순위-1 식별 정확도가 32.15%를 기록하여 비지도 기반 베이스라인을 초월했다.
• CUHK03 데이터셋에서 다중 쿼리 및 HS 특징를 사용할 경우, 비지도이지만 FPNN보다 순위-1 정확도에서 4.44% 높은 성능을 기록했다.
• Market-1501 데이터셋에서 모든 메트릭에서 SDALF, eSDC, KISSME를 초월하여 현실적인 환경에서의 강건성을 입증했다.
• DPM에 의해 검출된 방해 요소 이미지의 존재가 식별 정확도를 심각하게 떨어뜨려, 실제 환경 평가에서 검출 오류에 대한 강건성이 중요한 이유를 시사한다.
• 초기 순위가 강할 경우에만 자동 리랭킹 단계가 성능 향상을 가져오며, 이는 후처리 성과를 위한 높은 품질의 초기 특징이 핵심임을 시사한다.