[논문 리뷰] Debiased Batch Normalization via Gaussian Process for Generalizable Person Re-Identification

Jiawei Liu, Zhipeng Huang외 3명|arXiv (Cornell University)|2022. 03. 03.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 일반화된 인물 재식별을 위한 새로운 비편향 배치 정규화 방법인 GDNorm을 제안한다. 이 방법은 미사용 도메인에 대한 편향을 줄이기 위해 도메인 특화 배치 정규화 통계를 동적으로 자기 개선되는 가우시안 프로세스로 모델링한다. 추론 시 가우시안 프로세스의 평균 경로를 활용함으로써, 최소한의 계산 비용으로 일반화 성능을 향상시켜, 기준 모델 대비 미사용 도메인에서 R1 성능이 2.8% 향상되고 mAP가 4.7% 향상되는 최고 수준의 성능을 달성한다.

ABSTRACT

Generalizable person re-identification aims to learn a model with only several labeled source domains that can perform well on unseen domains. Without access to the unseen domain, the feature statistics of the batch normalization (BN) layer learned from a limited number of source domains is doubtlessly biased for unseen domain. This would mislead the feature representation learning for unseen domain and deteriorate the generalizaiton ability of the model. In this paper, we propose a novel Debiased Batch Normalization via Gaussian Process approach (GDNorm) for generalizable person re-identification, which models the feature statistic estimation from BN layers as a dynamically self-refining Gaussian process to alleviate the bias to unseen domain for improving the generalization. Specifically, we establish a lightweight model with multiple set of domain-specific BN layers to capture the discriminability of individual source domain, and learn the corresponding parameters of the domain-specific BN layers. These parameters of different source domains are employed to deduce a Gaussian process. We randomly sample several paths from this Gaussian process served as the BN estimations of potential new domains outside of existing source domains, which can further optimize these learned parameters from source domains, and estimate more accurate Gaussian process by them in return, tending to real data distribution. Even without a large number of source domains, GDNorm can still provide debiased BN estimation by using the mean path of the Gaussian process, while maintaining low computational cost during testing. Extensive experiments demonstrate that our GDNorm effectively improves the generalization ability of the model on unseen domain.

연구 동기 및 목표

• 목표 데이터에 접근할 수 없는 상황에서, 새로운 도메인에서 테스트할 때 발생하는 도메인 이동 문제를 해결한다.
• 모델의 일반화를 방해하는, 제한된 소스 도메인에서 유도된 배치 정규화 통계에 기인한 편향을 극복한다.
• 진정한 데이터 분포를 근사하는 자기 개선되는 가우시안 프로세스로 도메인 특화 배치 정규화 파라미터를 모델링하여 일반화 성능을 향상시킨다.
• 앙상블 방법 대비 계산 비용을 줄이면서도, 새로운 도메인에서 성능을 유지하거나 향상시킨다.
• 도메인 일반화 설정 하에서 개방 집합 검색을 위한 효과적인 특징 표현 학습을 가능하게 한다.

제안 방법

• 각 소스 도메인에서 고유한 도메인 특성을 반영하기 위해 도메인 특화 배치 정규화 레이어를 복수 개 훈련한다.
• 이 도메인 특화 BN 레이어의 파라미터를 관측치로 사용하여 도메인 통계의 잠재 분포를 모델링하는 가우시안 프로세스를 학습한다.
• 샘플링된 경로를 사용해 소스 도메인 BN 파라미터를 피드백 루프 내에서 재최적화함으로써, 가우시안 프로세스를 동적으로 자기 개선한다.
• 가장 가능성이 높은 새로운 도메인의 분포를 나타내는 가우시안 프로세스의 평균 경로를 사용해, 새로운 도메인에 적합한 최적의 BN 통계를 추정한다.
• 추론 시 평균 경로를 BN 레이어 파라미터로 적용함으로써, 복수의 모델을 훈련하거나 배포할 필요 없이 간단한 추론을 가능하게 한다.
• 자기 개선 과정을 손실 함수 내 샘플링 비율 λ를 통해 제어하여, 도메인 특화 통계와 전반적 통계의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스로 배치 정규화 통계를 모델링함으로써, 인물 재식별에서 새로운 도메인에 대한 특징 표현의 편향을 줄일 수 있는가?
• RQ2 가우시안 프로세스의 자기 개선 메커니즘이 새로운 도메인에 대한 BN 통계 추정 정확도를 어떻게 향상시키는가?
• RQ3 가우시안 프로세스의 평균 경로를 BN 추정기로 사용할 경우, 개별 도메인 특화 모델이나 앙상블 방법보다 일반화 성능에서 뛰어나게 되는가?
• RQ4 샘플링 비율 λ로 제어되는 자기 개선 과정에서, 도메인 특화 통계와 전반적 통계 간 최적의 트레이드오프는 무엇인가?
• RQ5 소수의 소스 도메인만으로도 GDNorm이 낮은 추론 비용으로 최고 수준의 성능을 달성할 수 있는가?

주요 결과

• Protocol-2 하에서 GDNorm는 기준 모델 대비 새로운 도메인에서 R1 정확도를 2.8% 향상시키고, mAP를 4.7% 향상시켰다.
• 가우시안 프로세스의 평균 경로가 가장 높은 평균 성능을 기록했으며, 개별 도메인 특화 모델(D, MT, C3)과 샘플링 경로보다 뛰어난 성능을 보였다.
• 최적의 샘플링 비율 λ는 0.6이며, 이때 R1는 86.5%, mAP는 68.2%를 기록했고, λ가 0.6를 초과하면 성능이 저하되었다.
• GDNorm의 추론은 배치당 0.09초로, 3개의 도메인 특화 네트워크를 포함한 앙상블 모델의 시간의 약 1/3에 불과했다.
• 자기 개선 메커니즘이 반복적으로 샘플링된 경로를 사용해 BN 파라미터를 정밀하게 개선함으로써, 가우시안 프로세스 추정의 정확도를 크게 향상시켰다.
• 소수의 소스 도메인에서도 강력한 일반화 성능을 유지하여, 제한된 데이터에 대한 강건성을 입증했다.