[논문 리뷰] Frustratingly Easy Person Re-Identification: Generalizing Person Re-ID in Practice

Jieru Jia, Qiuqi Ruan외 1명|arXiv (Cornell University)|2019. 05. 09.

Video Surveillance and Tracking Methods참고 문헌 53인용 수 16

한 줄 요약

이 논문은 도메인 간 변화(스타일 및 콘텐츠 변동)로 인한 도메인 시프트를 완화하기 위해 초기 레이어에서 인스턴스 정규화(IN)와 깊은 레이어에서 특징 정규화(FN)를 사용하는 간단하면서도 매우 효과적인 도메인 일반화(DG) 베이스라인을 제안한다. 이 방법은 학습 중에 타겟 도메인 데이터가 필요 없이도 최상의 성능을 기록하며, VIPeR, PRID, GRID, i-LIDS에서 각각 순위-1 정확도를 11.8%, 33.2%, 12.8%, 8.5% 향상시킨다.

ABSTRACT

Contemporary person re-identification ( eid) methods usually require access to data from the deployment camera network during training in order to perform well. This is because contemporary eid{} models trained on one dataset do not generalise to other camera networks due to the domain-shift between datasets. This requirement is often the bottleneck for deploying eid{} systems in practical security or commercial applications, as it may be impossible to collect this data in advance or prohibitively costly to annotate it. This paper alleviates this issue by proposing a simple baseline for domain generalizable~(DG) person re-identification. That is, to learn a eid{} model from a set of source domains that is suitable for application to unseen datasets out-of-the-box, without any model updating. Specifically, we observe that the domain discrepancy in eid{} is due to style and content variance across datasets and demonstrate appropriate Instance and Feature Normalization alleviates much of the resulting domain-shift in Deep eid{} models. Instance Normalization~(IN) in early layers filters out style statistic variations and Feature Normalization~(FN) in deep layers is able to further eliminate disparity in content statistics. Compared to contemporary alternatives, this approach is extremely simple to implement, while being faster to train and test, thus making it an extremely valuable baseline for implementing eid{} in practice. With a few lines of code, it increases the rank 1 eid{} accuracy by {11.8\%, 33.2\%, 12.8\% and 8.5\%} on the VIPeR, PRID, GRID, and i-LIDS benchmarks respectively. Source codes are available at \url{https://github.com/BJTUJia/person_reID_DualNorm}.

연구 동기 및 목표

• 한 데이터셋에서 학습된 모델이 새로운 카메라 네트워크에서 실패하는 도메인 시프트 문제를 해결하기 위해.
• 타겟 도메인 데이터나 피팅 조정 없이도 새로운 배포 환경에 일반화 가능한 실용적인 즉시 사용 가능한 Re-ID 솔루션을 개발하기 위해.
• 복잡한 최신 기술들을 능가하는 최소한의, 효율적이고 안정적인 방법을 제안하여 Re-ID의 도메인 일반화에서 성능을 향상시키기 위해.
• 단순한 정규화 기법이 깊은 Re-ID 모델에서 스타일 및 콘텐츠 도메인 편향을 효과적으로 완화시킬 수 있음을 보여주기 위해.

제안 방법

• 다양한 데이터셋 간 조명, 대비, 색상 포화도 등의 스타일 변동을 걸러내기 위해 초기 합성곱 레이어에 인스턴스 정규화(IN)를 적용한다.
• 시야각, 자세, 초점 거리 변동 등의 콘텐츠 통계 격차를 줄이기 위해 깊은 레이어에서 특징 정규화(FN)를 사용한다.
• 최소한의 아키텍처 수정으로 표준 CNN 백본(예: ResNet50 또는 MobileNetV2)에 IN과 FN을 통합하여, 몇 줄의 코드만으로도 구현 가능하다.
• 학습 중에 타겟 도메인 데이터에 접근할 수 없으며, 라벨이 부여된 소스 도메인 데이터만 사용하여 모델을 종합적으로 끝에서 끝까지 학습시킨다.
• 특징 인코딩 후 최전단 레이어에 FN을 적용하여 도메인 간 전역 특징 통계를 정규화한다.
• 스타일과 콘텐츠 도메인 편향을 동시에 해결하는 이중 정규화 전략을 통해 특징의 보편성과 도메인에 관계없는 표현을 향상시킨다.

실험 결과

연구 질문

• RQ1 타겟 도메인 데이터 없이도 단순한 정규화 기반 접근이 새로운 카메라 네트워크로의 person Re-ID 모델 일반화에 효과적으로 작용할 수 있는가?
• RQ2 초기 레이어에서의 인스턴스 정규화와 깊은 레이어에서의 특징 정규화가 스타일 및 콘텐츠 변동으로 인한 도메인 시프트를 어느 정도 줄일 수 있는가?
• RQ3 제안된 DualNorm 방법은 메타러닝이나 비지도 도메인 적응 방법과 비교해 복제 없는 도메인 일반화에서 어떤가?
• RQ4 제안된 방법은 내부 도메인 변동에 대비한 내재된 벤치마크에서도 성능 향상을 이끌 수 있는가?

주요 결과

• 제안된 DualNorm 방법은 기존 ResNet50에 비해 VIPeR 벤치마크에서 순위-1 정확도를 11.8%p 향상시켰다.
• PRID 데이터셋에서는 베이스라인 대비 순위-1 정확도를 33.2% 향상시켜 기존 DG 및 지도 학습 방법을 크게 능가한다.
• GRID 벤치마크에서는 43.7%의 순위-1 정확도를 기록하고 i-LIDS에서는 78.2%를 달성하여 다양한 도메인 간 강력한 일반화 능력을 입증한다.
• Market-1501과 DukeMTMC-reID와 같은 내부 도메인 벤치마크에서도 각각 5.4%와 6.2%의 순위-1 정확도 향상을 기록하여 교차 도메인 설정 외에서도 효과적임을 보여준다.
• 제거 분석 결과, IN과 FN을 조합하면 상호보완적인 이점이 있으며, 초기 레이어에 IN과 깊은 레이어에 FN을 적용하는 것이 가장 효과적임을 확인했다.
• DIMN와 같은 기존 DG 방법이 메타러닝과 동적 모델 합성을 필요로 하는 데 비해, 이 방법은 더 빠르고 단순하여 실세계 구현에 더 실용적이다.