[논문 리뷰] Orientation Driven Bag of Appearances for Person Re-identification

Liqian Ma, Hong Liu외 3명|arXiv (Cornell University)|2016. 05. 09.

Video Surveillance and Tracking Methods참고 문헌 25인용 수 23

한 줄 요약

이 논문은 신체 구조와 방향 정보를 통합하여 사람 재식별을 위한 새로운 특징 표현 프레임워크인 방향 주도형 아웃라인의 백과 (ODBoA)를 제안한다. 중수준 특징 학습을 위한 신체 구조 피라미드를 사용하고, 방향에 기반한 다중 샷 아웃라인 융합을 통해 복잡하고 제약이 없는 데이터셋에서 성능을 크게 향상시킨다.

ABSTRACT

Person re-identification (re-id) consists of associating individual across camera network, which is valuable for intelligent video surveillance and has drawn wide attention. Although person re-identification research is making progress, it still faces some challenges such as varying poses, illumination and viewpoints. For feature representation in re-identification, existing works usually use low-level descriptors which do not take full advantage of body structure information, resulting in low representation ability. %discrimination. To solve this problem, this paper proposes the mid-level body-structure based feature representation (BSFR) which introduces body structure pyramid for codebook learning and feature pooling in the vertical direction of human body. Besides, varying viewpoints in the horizontal direction of human body usually causes the data missing problem, $i.e.$, the appearances obtained in different orientations of the identical person could vary significantly. To address this problem, the orientation driven bag of appearances (ODBoA) is proposed to utilize person orientation information extracted by orientation estimation technic. To properly evaluate the proposed approach, we introduce a new re-identification dataset (Market-1203) based on the Market-1501 dataset and propose a new re-identification dataset (PKU-Reid). Both datasets contain multiple images captured in different body orientations for each person. Experimental results on three public datasets and two proposed datasets demonstrate the superiority of the proposed approach, indicating the effectiveness of body structure and orientation information for improving re-identification performance.

연구 동기 및 목표

• 자세, 조명, 시점 변화에 민감한 저수준 기술자에 기인한 한계를 해결한다.
• 다양한 신체 방향으로 인해 발생하는 데이터 누락 문제를 해결한다. 동일한 사람의 아웃라인이 다양한 시점에서 크게 다를 수 있다.
• 중수준의 신체 구조와 방향 정보를 활용하여 공간적 비일치성과 배경 노이즈에 대한 강건성을 향상시켜 특징 표현을 개선한다.
• 감시 상황에서의 데이터 불균형 문제를 완화하기 위해 방향에 기반한 특징 융합을 통한 다중 샷 재식별 프레임워크를 개발한다.
• 더 나은 방향 인식 재식별 방법 평가를 위해 두 가지 새로운 데이터셋인 Market-1203과 PKU-Reid를 제안한다.

제안 방법

• 중수준 특징 학습을 위한 수직 신체 부위 정보(예: 머리, 흉부, 다리)를 인코딩하기 위해 신체 구조 피라미드를 도입한다.
• 공간적 비일치성에 강건한 중수준 표현으로 저수준 기술자를 변환하기 위해 국소 제약 선형 코딩(LLC)을 사용한다.
• 사람의 방향 추정을 통해 다중 샷 특징 융합를 이끄는 방향 주도형 아웃라인의 백과(ODBoA)를 제안한다.
• 각 방향을 별도의 시점으로 간주하여 방향 인식 풀링을 통해 중수준 특징을 다중 샷 간 융합한다. 이는 잘못된 아웃라인으로 인한 노이즈를 감소시킨다.
• 결정 수준이 아닌 특징 수준에서 중수준 특징 융합을 적용하여 분류 정보를 유지하고 차원을 감소시킨다.
• 특히 데이터 불균형 상황에서 1대N 및 M대1 매칭 시나리오의 모호성을 해결하기 위해 방향 정보를 활용한 메트릭 학습 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 신체 구조에 기반한 중수준 특징 표현이 자세 및 시점 변화에 대비해 사람 재식별 성능을 향상시킬 수 있는가?
• RQ2 사람의 방향 정보를 통합함으로써 다양한 시점에서의 아웃라인 변화 영향을 어떻게 줄일 수 있는가?
• RQ3 방향 인식 다중 샷 융합가능성이 감시 재식별에서 발생하는 데이터 누락 및 데이터 불균형 문제를 어느 정도 완화할 수 있는가?
• RQ4 제안된 ODBoA 프레임워크가 다양한 방향과 복잡한 환경을 포함한 데이터셋에서 최신 기술 수준의 방법을 초월하는가?
• RQ5 실제 감시 상황에서 신체 구조 기반 특징 학습과 방향 주도 융합의 조합이 얼마나 효과적인가?

주요 결과

• 제안된 ODBoA-Mid-Pooling 방법은 3DPeS 데이터셋에서 랭크-1 정확도 55.8%를 달성하여 이전 최신 기술 수준의 방법인 Dual보다 3.2%p 높은 성능을 보였다.
• Market-1203 데이터셋에서 1 대 1 매칭에서 4 대 4 매칭으로의 전환 시 뚜렷한 성능 향상을 보였으며, 이는 다중 샷 융합에 대한 강력한 강건성을 시사한다.
• 방향 정보를 사용함으로써 갤러리 세트에 많은 샷이 포함된 1 대 N 매칭 시나리오에서 노이즈를 최소화하여 비방향 인식 방법 대비 최대 15%의 정확도 향상을 달성했다.
• 3DPeS에서 랭크-5 정확도 79.0%, 랭크-10 정확도 87.9%를 기록하여 복잡한 조명, 자세, 시간 변화 조건에서도 강력한 일반화 능력을 입증했다.
• Mid-Pooling의 정확도 행렬이 비대칭적임(예: 1 대 N 대비 M 대 1)을 확인하여, 방향 인식 융합이 배경 노이즈와 비일치 아웃라인으로 인한 노이즈를 감소시킴을 확인했다.
• Market-1203 및 PKU-Reid 데이터셋의 도입으로 방향 인식 재식별에 대한 더 현실적인 평가가 가능해졌으며, 두 데이터셋 모두 다양한 방향에서 다수의 이미지가 포함되어 있다.