[논문 리뷰] One-pass Person Re-identification by Sketch Online Discriminant Analysis

Weihong Li, Allen Z. Zhong외 1명|arXiv (Cornell University)|2017. 11. 09.

Video Surveillance and Tracking Methods참고 문헌 35인용 수 6

한 줄 요약

이 논문은 스케치 처리를 활용하여 과거 데이터 변동성을 저랭크 표현으로 유지하면서 원시 샘플을 저장하지 않는, 한 번의 통과만으로 가능한 온라인 인물 재식별 방법인 스케치 온라인 디스criminant 분석(SoDA)을 제안한다. 스케치로부터 내부 클래스 공분산을 추정함으로써 SoDA는 오프라인 FDA와 경쟁 가능한 성능을 달성하면서도, 이론적 근거에 기반한 판별 점수 근사에 대한 이론적 경계를 제공하는 효율적이고 점진적인 특징 학습을 가능하게 한다.

ABSTRACT

Person re-identification (re-id) is to match people across disjoint camera views in a multi-camera system, and re-id has been an important technology applied in smart city in recent years. However, the majority of existing person re-id methods are not designed for processing sequential data in an online way. This ignores the real-world scenario that person images detected from multi-cameras system are coming sequentially. While there is a few work on discussing online re-id, most of them require considerable storage of all passed data samples that have been ever observed, and this could be unrealistic for processing data from a large camera network. In this work, we present an onepass person re-id model that adapts the re-id model based on each newly observed data and no passed data are directly used for each update. More specifically, we develop an Sketch online Discriminant Analysis (SoDA) by embedding sketch processing into Fisher discriminant analysis (FDA). SoDA can efficiently keep the main data variations of all passed samples in a low rank matrix when processing sequential data samples, and estimate the approximate within-class variance (i.e. within-class covariance matrix) from the sketch data information. We provide theoretical analysis on the effect of the estimated approximate within-class covariance matrix. In particular, we derive upper and lower bounds on the Fisher discriminant score (i.e. the quotient between between-class variation and within-class variation after feature transformation) in order to investigate how the optimal feature transformation learned by SoDA sequentially approximates the offline FDA that is learned on all observed data. Extensive experimental results have shown the effectiveness of our SoDA and empirically support our theoretical analysis.

연구 동기 및 목표

• 순차적인 카메라 데이터에 대한 실시간 모델 적응을 가능하게 하여 온라인 인물 재식별 분야의 격차를 해소한다.
• 모든 데이터를 저장이 필요하고 대규모 카메라 네트워크에 스케일링할 수 없는 오프라인 재식별 모델의 한계를 극복한다.
• 과거 데이터 샘플을 명시적으로 저장하지 않으면서도 판별적 특징 학습 능력을 유지하는 방법을 개발한다.
• 스케치 기반의 내부 클래스 공분산 근사가 피셔 판별 점수 수렴에 미치는 영향을 이론적으로 분석한다.
• 대규모 스트리밍 감시 시스템에서 온라인 재식별을 위한 높은 효율성과 확장성을 달성한다.

제안 방법

• 피셔 판별 분석(FDA)에 스케치 처리를 통합하여 스케치 온라인 디스criminant 분석(SoDA)을 구축한다.
• 이전에 관측된 모든 샘플의 주요 데이터 변동성을 포괄하는 저랭크 스케치 행렬을 유지한다.
• 원시 데이터를 저장하지 않고 스케치 행렬에서 내부 클래스 공분산 행렬을 근사적으로 추정한다.
• 온라인 학습 중에 차원 감소를 암묵적으로 수행하기 위해 스케치 내에서 직교 빈도 방향을 사용한다.
• 완전한 공분산 재계산을 피하기 위해 현재 샘플과 스케치만을 사용하여 판별 모델을 점진적으로 업데이트한다.
• 이론적 분석을 통해 피셔 판별 점수의 상한과 하한을 유도하여 오프라인 FDA에 수렴하는 정도를 정량화한다.

실험 결과

연구 질문

• RQ1 스케치 기반의 내부 클래스 공분산 행렬 근사는 온라인 재식별에서 판별적 특징 학습을 얼마나 잘 유지할 수 있는가?
• RQ2 SoDA의 온라인 특징 변환은 최적의 오프라인 FDA 해에 얼마나 가까이 수렴하는가?
• RQ3 다양한 특징 차원에서 순위 1 정확도와 mAP 측면에서 스케치 크기와 성능 간의 상호 교환 관계는 어떠한가?
• RQ4 기존의 온라인 재식별 모델 대비 SoDA는 훨씬 낮은 계산 비용과 메모리 사용량으로도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 FDA에 스케치 처리를 통합함으로써 자연스럽게 차원 감소가 이루어지며, 별도의 PCA나 특징 감소 단계가 필요 없어지는가?

주요 결과

• JLH 특징을 사용할 경우, SoDA는 Market-1501, DukeMTMC, CUHK03의 세 가지 대규모 인물 재식별 벤치마크에서 모두 최고의 순위 1 매칭률과 mAP 성능을 기록한다.
• 최신 기술인 온라인 재식별 모델 OL-IDM 대비 누적 학습 시간을 30배 감소시켜 뛰어난 효율성을 입증한다.
• 스케치 크기 ℓ가 클수록 성능 향상이 이루어지지만, 낮은 ℓ(예: 256D 특징에 대해 256, 고차원 특징에 대해 1000)에서도 정확도와 계산 비용 간의 우수한 균형을 달성한다.
• 이론적 경계는 SoDA의 피셔 판별 점수가 오프라인 FDA 해에 수렴함을 확인하며, 엄밀한 상한과 하한이 도출되었다.
• SoDA는 스케치 행렬을 통해 암묵적으로 차원 감소를 수행하므로 고차원 환경에서 별도의 PCA나 특징 감소 단계가 필요 없어진다.
• 실험 결과, SoDA는 LOMO, HIPHOP, JLH와 같은 고차원 특징에 적용되었을 때조차 OL-IDM 및 기타 오프라인 모델보다 더 안정적이고 효과적인 것으로 나타났다.