[논문 리뷰] Decentralised Person Re-Identification with Selective Knowledge Aggregation

Shitong Sun, Guile Wu외 1명|arXiv (Cornell University)|2021. 10. 21.

Video Surveillance and Tracking Methods참고 문헌 38인용 수 4

한 줄 요약

이 논문은 도메인별 주의적이고 국소적인 배치 정규화 레이어를 학습함으로써 로컬 모델의 개인화와 글로벌 모델의 일반화를 분리하는 새로운 분산형 인물 재식별 방법인 선택적 지식 집약(SKA)을 제안한다. 이 방법은 이중 국소 정규화 메커니즘을 통해 지식을 선택적으로 집약함으로써, 기존의 분산형 Re-ID 방법보다 정확도를 크게 향상시키며, 볼 수 있는 도메인과 볼 수 없는 도메인 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Existing person re-identification (Re-ID) methods mostly follow a centralised learning paradigm which shares all training data to a collection for model learning. This paradigm is limited when data from different sources cannot be shared due to privacy concerns. To resolve this problem, two recent works have introduced decentralised (federated) Re-ID learning for constructing a globally generalised model (server)without any direct access to local training data nor shared data across different source domains (clients). However, these methods are poor on how to adapt the generalised model to maximise its performance on individual client domain Re-ID tasks having different Re-ID label spaces, due to a lack of understanding of data heterogeneity across domains. We call this poor 'model personalisation'. In this work, we present a new Selective Knowledge Aggregation approach to decentralised person Re-ID to optimise the trade-off between model personalisation and generalisation. Specifically, we incorporate attentive normalisation into the normalisation layers in a deep ReID model and propose to learn local normalisation layers specific to each domain, which are decoupled from the global model aggregation in federated Re-ID learning. This helps to preserve model personalisation knowledge on each local client domain and learn instance-specific information. Further, we introduce a dual local normalisation mechanism to learn generalised normalisation layers in each local model, which are then transmitted to the global model for central aggregation. This facilitates selective knowledge aggregation on the server to construct a global generalised model for out-of-the-box deployment on unseen novel domains. Extensive experiments on eight person Re-ID datasets show that the proposed approach to decentralised Re-ID significantly outperforms the state-of-the-art decentralised methods.

연구 동기 및 목표

• 데이터 이질성과 다름없는 레이블 공간으로 인해 기존의 분산형 Re-ID 방법이 개별 클라이언트 도메인에서 강력한 모델 개인화를 달성하는 데에 한계를 가짐을 해결한다.
• 모델 개인화와 글로벌 일반화를 균형 잡는 방식으로, 볼 수 있는 소스 도메인과 볼 수 없는 새로운 도메인 모두에서 성능을 향상시킨다.
• 글로벌 모델이 새로운, 볼 수 없는 도메인으로 일반화하는 능력을 떨어뜨리지 않으면서도, 국소 도메인 특화 지식을 유지하는 메커니즘을 개발한다.
• 이중 국소 정규화 전략을 도입하여, 분산형 Re-ID에서 개인화와 일반화를 동시에 지원하는 선택적 지식 집약을 가능하게 한다.

제안 방법

• 각 클라이언트별로 인스턴스별 특성 표현을 도메인 적응형으로 학습하기 위해 배치 정규화 레이어에 주의적 정규화(AN)를 통합한다.
• 클라이언트별로 학습되고 글로벌 서버 집약에서 분리되는 국소 특화 정규화(LSN) 레이어를 도입하여 모델 개인화를 유지한다.
• 이중 국소 정규화 메커니즘을 설계하여, 하나는 국소 개인화(LSN)를 위한, 다른 하나는 글로벌 일반화(G-Norm)를 위한 정규화를 학습한다. 둘 다 분산 학습을 통해 업데이트된다.
• 전체 서버에 전송되는 것은 일반화된 정규화 레이어(G-Norm)뿐이며, LSN 레이어는 로컬에 유지되어 도메인 특화 지식을 보존한다.
• 전체 모델이 오직 G-Norm 구성요소만을 사용하여 업데이트되는 선택적 집약 전략을 사용하여, 직접적인 LSN 집약으로 인한 성능 저하를 방지한다.
• 클라이언트가 LSN 및 G-Norm를 포함한 로컬 모델을 반복적으로 업데이트하는 분산 설정에서 모델을 훈련하며, 서버에 전송되는 것은 오직 G-Norm 파라미터뿐이다.

실험 결과

연구 질문

• RQ1 데이터 이질성과 레이블 공간의 다름이 있는 상황에서, 분산형 Re-ID 방법은 어떻게 개별 클라이언트 도메인에서 모델 개인화를 향상시킬 수 있는가?
• RQ2 도메인별 특화 정규화 레이어를 학습하는 것이, 볼 수 있는 소스 도메인에서 분산형 Re-ID 모델의 성능에 어떤 영향을 미치는가?
• RQ3 이중 정규화 메커니즘이 성능 저하 없이 분산형 Re-ID에서 모델 개인화와 일반화를 효과적으로 균형 잡을 수 있는가?
• RQ4 일반화된 정규화 레이어의 선택적 집약 방식이, 모든 로컬 레이어를 단순 평균화하는 것과 비교해 글로벌 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ5 데이터 이질성 하에서 주의적 정규화는 분산형 Re-ID에서 특성 표현을 얼마나 향상시키는가?

주요 결과

• 제안된 SKA 방법은 여덟 개인물 재식별 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 볼 수 있는 도메인과 볼 수 없는 도메인 모두에서 기존의 분산형 방법을 능가한다.
• VIPeR 데이터셋에서 SKA는 볼 수 없는 도메인에서 R1을 48.2% (기준선)에서 53.9%로 향상시켰으며, 볼 수 있는 도메인에서는 66.6% R1을 달성하여 강력한 개인화와 일반화 능력을 입증하였다.
• LSN 기반 기준선 대비 이중 국소 정규화 메커니즘이 VIPeR 및 iLIDS에서 일반화 성능을 약 2% 향상시켰으며, 높은 개인화 성능를 유지하였다.
• LSN 및 AN을 포함한 SKA는 Market-1501에서 78.2% R1, DukeMTMC에서 92.7% R1을 기록하여, 볼 수 있는 도메인과 볼 수 없는 도메인 모두에서 기준선보다 10퍼센트 포인트 이상 높은 성능를 달성하였다.
• 제거 실험 결과, 이중 정규화 메커니즘이 국소 개인화 지식 학습으로 인한 성능 저하를 상쇄하여, 개인화와 일반화 사이의 더 나은 트레이드오���을 가능하게 한다는 것이 확인되었다.
• 이중 정규화를 적용한 SKA 모델은 iLIDS(불러온 도메인)에서 72.7% R1, VIPeR(불러온 도메인)에서 49.8% R1을 기록하여, 기준선 및 로컬 정규화 레이어를 평균화하거나 연결하는 변형들보다 뚜렷이 뛰어난 성능를 보였다.