[논문 리뷰] Meta Batch-Instance Normalization for Generalizable Person Re-Identification

Seokeon Choi, Taekyung Kim외 3명|arXiv (Cornell University)|2020. 11. 30.

Video Surveillance and Tracking Methods참고 문헌 51인용 수 9

한 줄 요약

이 논문은 메타학습 기반의 프레임워크인 메타 배치-인스턴스 정규화(MetaBIN)를 제안한다. 이는 훈련 중에 부족한 스타일 정규화 및 과도한 스타일 정규화 실패를 시뮬레이션하여 인물 재식별에서 일반화 능력을 향상시킨다. 학습 가능한 배치-인스턴스 정규화와 순환적인 내부 업데이트 메커니즘, 다중 구성 요소 메타학습 손실을 결합함으로써 MetaBIN은 추가적인 데이터 증강 없이도 새로운 도메인에 대해 강건성을 향상시켜 최신 기술(SOTA)을 초월한다.

ABSTRACT

Although supervised person re-identification (Re-ID) methods have shown impressive performance, they suffer from a poor generalization capability on unseen domains. Therefore, generalizable Re-ID has recently attracted growing attention. Many existing methods have employed an instance normalization technique to reduce style variations, but the loss of discriminative information could not be avoided. In this paper, we propose a novel generalizable Re-ID framework, named Meta Batch-Instance Normalization (MetaBIN). Our main idea is to generalize normalization layers by simulating unsuccessful generalization scenarios beforehand in the meta-learning pipeline. To this end, we combine learnable batch-instance normalization layers with meta-learning and investigate the challenging cases caused by both batch and instance normalization layers. Moreover, we diversify the virtual simulations via our meta-train loss accompanied by a cyclic inner-updating manner to boost generalization capability. After all, the MetaBIN framework prevents our model from overfitting to the given source styles and improves the generalization capability to unseen domains without additional data augmentation or complicated network design. Extensive experimental results show that our model outperforms the state-of-the-art methods on the large-scale domain generalization Re-ID benchmark and the cross-domain Re-ID problem. The source code is available at: https://github.com/bismex/MetaBIN.

연구 동기 및 목표

• 도메인 이동과 스타일 변동으로 인해 감독 기반 Re-ID 모델이 새로운 도메인에서 일반화 능력이 떨어지는 문제를 해결하기 위해.
• 도메인 일반화 설정에서 배치 정규화(부족한 스타일 정규화)와 인스턴스 정규화(과도한 스타일 정규화)의 한계를 극복하기 위해.
• 메타학습 중 실패 케이스를 시뮬레이션하여 다양한 새로운 도메인에 일반화 가능한 정규화 메커니즘을 개발하기 위해.
• 데이터 증강이나 복잡한 네트워크 아키텍처 수정 없이도 모델의 강건성을 향상시키기 위해.

제안 방법

• 배치 정규화와 인스턴스 정규화의 영향을 동적으로 제어할 수 있는 균형 파라미터를 갖춘 학습 가능한 배치-인스턴스 정규화(BIN) 레이어를 도입한다.
• 훈련 중에 부족한 스타일 정규화 및 과도한 스타일 정규화 시나리오를 시뮬레이션하기 위해 메타학습 파이프라인을 활용한다.
• 삼중 체류 손실, 내도메인 산산패류 손실, 외도메인 셔플 손실을 조합한 다중 구성 요소 메타학습 손실을 설계하여 균형 파라미터가 강건한 설정으로 향하도록 이끈다.
• 가상의 훈련 에피소드를 다양화하고 다양한 최적화 경로를 통해 일반화 능력을 향상시키기 위해 순환적인 내부 업데이트 전략을 적용한다.
• 메타학습 에피소드를 분리하여 균형 파라미터만 별도로 업데이트함으로써 훈련의 안정성과 수렴성을 향상시킨다.
• t-SNE 시각화와 기울기 분석을 통해 학습된 정규화 행동과 파라미터 역학을 검증한다.

실험 결과

연구 질문

• RQ1 목표 도메인 데이터 없이도 인물 재식별에서 도메인 이동에 대해 정규화 레이어를 더 강건하게 만들 수 있는 방법은 무엇인가?
• RQ2 도메인 일반화 설정에서 배치 정규화와 인스턴스 정규화의 실패 모드는 무엇이며, 이를 훈련 중에 사전에 시뮬레이션할 수 있는가?
• RQ3 메타학습을 효과적으로 활용하여 원천 도메인 스타일에 과적합되지 않는 일반화 가능한 정규화 메커니즘을 훈련시킬 수 있는가?
• RQ4 다중 메타학습 손실과 순환 업데이트의 조합이 새로운 도메인에서의 일반화 능력을 어떻게 향상시키는가?

주요 결과

• MetaBIN은 대규모 도메인 일반화 Re-ID 벤치마크에서 최신 기술(SOTA)을 초월하며, 추가적인 데이터 증강 없이도 최고의 성능을 기록한다.
• 메타학습 중에 실패 케이스를 시뮬레이션함으로써 원천 도메인 스타일에 대한 과적합을 크게 줄였으며, 이는 새로운 도메인으로의 제로샷 일반화 능력 향상으로 확인된다.
• 균형 파라미터의 최종 분포는 얕고 중간 레이어에서 인스턴스 정규화 쪽으로 선택적 이탈이 일반화 능력을 향상시키며, 특히 과적합을 완화하는 데 기여한다.
• 기울기 분석 결과, 메타학습 손실 구성 요소는 방향성 있는 업데이트를 유도한다: 삼중 체류 손실은 파라미터를 BN 쪽으로 이동시키고, 산산패류 손실과 셔플 손실은 파라미터를 IN 쪽으로 이동시켜 실패 모드를 통제적으로 시뮬레이션할 수 있다.
• 순환적인 내부 업데이트 메커니즘과 에피소드 분리 전략은 훈련 안정성과 일반화 능력을 향상시키며, 다양한 설정에서 일관된 성능 향상이 관찰된다.