[논문 리뷰] Rethinking the Distribution Gap of Person Re-identification with Camera-based Batch Normalization

Zijie Zhuang, Longhui Wei외 6명|arXiv (Cornell University)|2020. 01. 23.

Video Surveillance and Tracking Methods참고 문헌 58인용 수 6

한 줄 요약

이 논문은 사람 재식별(ReID)에서 모든 카메라 간의 특징 분포를 표준화하여 훈련 및 테스트 시 각 카메라별로 입력을 표준화함으로써, 카메라 기반 배치 정규화(CBN)라는 새로운 방법을 제안한다. 카메라 간 분포 격차를 명시적으로 축소함으로써, CBN는 미리 보지 않은 카메라로의 강력한 일반화를 가능하게 하며, 유일하게 카메라 내(annotation) 데이터만을 사용함으로써 경쟁 가능한 ReID 성능을 달성한다. 이는 직접 전이에서 최대 14.2% 높은 Rank-1 정확도와 인크리멘탈 학습에서 9.7% 적은 기억 상실을 달성한다.

ABSTRACT

The fundamental difficulty in person re-identification (ReID) lies in learning the correspondence among individual cameras. It strongly demands costly inter-camera annotations, yet the trained models are not guaranteed to transfer well to previously unseen cameras. These problems significantly limit the application of ReID. This paper rethinks the working mechanism of conventional ReID approaches and puts forward a new solution. With an effective operator named Camera-based Batch Normalization (CBN), we force the image data of all cameras to fall onto the same subspace, so that the distribution gap between any camera pair is largely shrunk. This alignment brings two benefits. First, the trained model enjoys better abilities to generalize across scenarios with unseen cameras as well as transfer across multiple training sets. Second, we can rely on intra-camera annotations, which have been undervalued before due to the lack of cross-camera information, to achieve competitive ReID performance. Experiments on a wide range of ReID tasks demonstrate the effectiveness of our approach. The code is available at https://github.com/automan000/Camera-based-Person-ReID.

연구 동기 및 목표

• 사람 재식별(ReID)에서 카메라 간 기본적인 분포 격차 문제를 해결함으로써 모델의 일반화 및 전이 가능성에 제약을 가하는 것을 목표로 한다.
• 비용이 많이 드는 카메라 간 annotation에 의존하는 것을 줄이고, 카메라 내 annotation만으로도 효과적인 학습이 가능하도록 하는 것을 목표로 한다.
• 카메라별 특징 분포를 명시적으로 정렬함으로써, 새로운 카메라 및 데이터셋에서의 모델 일반화 및 전이 성능을 향상시키는 것을 목표로 한다.
• 데이터셋에 종속된 카메라 상관관계에서 ReID 학습을 분리하는 카메라 기반 공식을 제안함으로써, 강인성과 확장성을 향상시키는 것을 목표로 한다.

제안 방법

• 훈련 중에 카메라별로 별도의 배치 통계를 사용하여 입력 특징을 표준화하는 카메라 기반 배치 정규화(CBN)를 도입함으로써, 기존 배치 정규화의 개선된 변형을 제안한다.
• 추론 시, 각 카메라의 훈련 분포와 일치시키기 위해 각 카메라에서 소수의 샘플만을 사용하여 카메라별 통계를 추정한다.
• 백본 네트워크의 모든 배치 정규화 레이어에 CBN를 적용하여, 모든 레이어와 특징 계층에서 일관된 분포 정렬을 보장한다.
• 인크리멘탈 학습에서 현재 훈련 데이터와 각 카메라의 정체성당 한 장의 이미지만 포함된 소규모 예시 메모리(exemplar memory)를 융합하는 혼합 샘플링 전략을 적용한다.
• 메모리 크기를 최소화하면서 지식 유지를 최대화하기 위해 카메라 커버리지와 정체성 표현을 균형 잡는 그리디 예시 메모리 구성 알고리즘을 설계한다.
• 모든 BN 레이어를 CBN 레이어로 교체함으로써 네트워크 전반에서 일관된 분포 정렬을 보장한다. 부분적인 교체는 카메라별 정규화의 핵심 원칙을 약화시킨다.

실험 결과

연구 질문

• RQ1 훈련 및 추론 중 카메라별 정규화를 통해 사람 재식별에서 카메라 간 분포 격차를 효과적으로 줄일 수 있는가?
• RQ2 카메라 간 annotation이 없는 상황에서 카메라 내 annotation만으로도 경쟁 가능한 ReID 성능을 달성할 수 있는가?
• RQ3 기존 배치 정규화와 비교해 CBN는 새로운 카메라 및 데이터셋에서 모델의 일반화 및 전이 가능성에 어떻게 기여하는가?
• RQ4 모든 BN 레이어를 CBN 레이어로 교체하는 것이 인크리멘탈 학습 성능과 지식 유지에 어떤 영향을 미치는가?
• RQ5 제안된 카메라 기반 공식은 카메라 간 annotation이 필요 없이 효과적인 도메인 적응 및 직접 전이를 가능하게 하는가?

주요 결과

• CBN는 Duke에서 Market-1501로의 직접 전이에서 표준 BN과 AdaBN보다 14.2% 높은 Rank-1 정확도를 달성한다.
• 인크리멘탈 학습에서 CBN 기반 방법은 기존 BN 기반 접근법 대비 9.7% 높은 Rank-1 정확도에서 기억 상실을 감소시킨다.
• 카메라 간 annotation이 없더라도, 카메라 내 annotation만을 사용하는 약한 지도 학습 파이프라인도 여러 ReID 데이터셋에서 경쟁 가능한 성능을 달성한다.
• 모든 BN 레이어를 CBN로 교체할 경우 최고의 성능을 기록하며, 직접 전이에서 72.7%의 Rank-1 정확도를 달성한다. 반면 부분적 교체는 열악한 성능을 초래한다.
• 그리디 알고리즘을 통해 구성된 예시 메모리는 원래 훈련 세트 크기의 3.4%에서 5.5%만을 차지하면서도 지속적인 학습을 위한 핵심 지식을 유지한다.
• 광범위한 실험을 통해 CBN가 완전 지도 학습, 도메인 적응, 직접 전이, 인크리멘탈 학습 작업 전반에서 일반화 및 전이 가능성 향상에 기여하는 것으로 확인되었다.