[논문 리뷰] Unsupervised Multi-Source Domain Adaptation for Person Re-Identification

Zechen Bai, Zhigang Wang외 3명|arXiv (Cornell University)|2021. 04. 27.

Video Surveillance and Tracking Methods참고 문헌 42인용 수 8

한 줄 요약

이 논문은 사람 재식별을 위한 새로운 비지도 다중 소스 도메인 적응 프레임워크를 제안하며, 도메인 특화 특징을 감소시키고 정체성 구별 능력을 향상시키기 위한 보정 도메인 특화 배치 정규화(RDSBN)와 도메인 간 격차를 최소화하기 위한 그래프 컨볼루션 네트워크 기반의 다중 도메인 정보 융합(MDIF) 모듈을 도입한다. 이 방법은 후처리 없이도 기존 비지도 방법을 능가하고 지도 학습 기준선에 가까운 성능을 달성한다.

ABSTRACT

Unsupervised domain adaptation (UDA) methods for person re-identification (re-ID) aim at transferring re-ID knowledge from labeled source data to unlabeled target data. Although achieving great success, most of them only use limited data from a single-source domain for model pre-training, making the rich labeled data insufficiently exploited. To make full use of the valuable labeled data, we introduce the multi-source concept into UDA person re-ID field, where multiple source datasets are used during training. However, because of domain gaps, simply combining different datasets only brings limited improvement. In this paper, we try to address this problem from two perspectives, \ie{} domain-specific view and domain-fusion view. Two constructive modules are proposed, and they are compatible with each other. First, a rectification domain-specific batch normalization (RDSBN) module is explored to simultaneously reduce domain-specific characteristics and increase the distinctiveness of person features. Second, a graph convolutional network (GCN) based multi-domain information fusion (MDIF) module is developed, which minimizes domain distances by fusing features of different domains. The proposed method outperforms state-of-the-art UDA person re-ID methods by a large margin, and even achieves comparable performance to the supervised approaches without any post-processing techniques.

연구 동기 및 목표

• 비지도 사람 재식별에서 여러 소스 데이터셋으로부터의 풍부한 레이블 데이터가 제대로 활용되지 않는 문제를 해결하기 위해.
• 조명, 카메라 시야, 색상 등 다양한 특성을 가진 여러 소스 도메인을 통합할 때 발생하는 성능 저하 문제를 완화하기 위해.
• 도메인 특화 특징을 동시에 감소시키고 다중 도메인 특징을 효과적으로 융합하여 일반화 능력을 향상시키는 방법을 개발하기 위해.
• 정체성이 도메인 간에 서로 겹치지 않는 세밀한, 개방 집합 재식별 환경에서 효과적인 비지도 도메인 적응을 가능하게 하기 위해.
• 도메인 특화 및 도메인 융합 관점의 조합이 기존의 단일 관점 접근 방식보다 우수한 성능을 내는가를 입증하기 위해.

제안 방법

• 각 도메인 별로 개별 배치 정규화(BN) 브랜치를 사용하고, 인스턴스별로 적응적으로 BN 파라미터를 조정하는 보정 절차를 적용하여 도메인 특화 특징을 억제하고 정체성 관련 표현을 강화하는 보정 도메인 특화 배치 정규화(RDSBN)를 도입한다.
• 도메인 에이전트 노드를 모델링하여 전역 도메인 수준의 특징을 표현하고, 인스턴스와 도메인 에이전트 노드 간의 정보 흐름을 가능하게 하여 도메인 수준의 융합을 지원하는 그래프 컨볼루션 네트워크(GCN) 기반의 다중 도메인 정보 융합(MDIF) 모듈을 제안한다.
• 이중 단계 학습 파이프라인을 활용한다: 다수의 레이블이 부여된 소스 데이터셋에서의 사전 학습과, 테이터에 대한 테스트 데이터를 사용한 반복적 미세조정. 두 단계 모두 RDSBN 및 MDIF 모듈이 활성화되어 있다.
• 동일한 도메인의 특징을 가중 평균을 통해 집계하는 도메인 에이전트 노드를 사용하며, 더 대표적 또는 일관된 특징을 강조하기 위해 학습 가능한 어텐션 가중치를 적용한다.
• GCN 아키텍처를 설계할 때 첫 번째 레이어에서 내부 연결(intra-connections)을 생략하여 과도한 스무딩을 방지하고 인스턴스 수준의 세부 정보를 유지하며, 동시에 도메인 간 연결은 도메인 정렬을 촉진한다.
• 추론 단계에서는 도메인 에이전트 노드를 학습 중의 이동 평균 통계를 사용하여 구현하여 추가 계산이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 비지도 도메인 적응에서 여러 레이블이 부여된 소스 데이터셋을 통합하면 단일 소스 기준선을 초월하는 사람 재식별 성능 향상을 이룰 수 있는가?
• RQ2 세밀한, 개방 집합 재식별 환경에서 정체성의 구별 능력을 유지하거나 향상시키면서 도메인 특화 특징을 효과적으로 감소시킬 수 있는가?
• RQ3 그래프 컨볼루션 네트워크가 사람 재식별에서 다중 도메인 특징 융합을 효과적으로 모델링하고 도메인 간 분포 격차를 줄일 수 있는가?
• RQ4 제안된 RDSBN 모듈이 다수의 소스에서 발생하는 도메인 이동을 다루는 데 있어 표준 도메인 특화 배치 정규화보다 우수한 성능을 보이는가?
• RQ5 RDSBN과 MDIF 모듈은 어떻게 상호작용하며, 이들의 조합이 각각을 별도로 사용하는 것보다 더 효과적인가?

주요 결과

• 제안된 방법은 Market+CUHK → Duke 벤치마크에서 65.0% mAP와 79.1% 랭크-1 정확도를 달성하여 베이스라인 대비 mAP 6.7%p, 랭크-1 6.3%p 향상되었다.
• RDSBN 모듈은 병합된 Market+Duke+CUHK03 데이터셋에서 DSBN 대비 클래스 간 거리 12.4% 향상 및 클래스 내 분산 18.3% 감소를 기록하여 더 강력한 특징의 구별 능력을 입증했다.
• MDIF 모듈은 ResNet50에 적용했을 때 베이스라인 대비 mAP 4.4%p, 랭크-1 정확도 4.1%p 향상되었으며, RDSBN와 병합된 경우에도 mAP 1.5%p, 랭크-1 1.8%p 향상되는 등 유의미한 성능 향상을 보였다.
• MMT 프레임워크에서 제안된 방법은 Market+CUHK → Duke에서 mAP 69.0%, 랭크-1 정확도 81.2%를 달성하여 베이스라인 대비 mAP 9.9%p, 랭크-1 4.6%p 향상되었다.
• MDIF의 '가중 평균 에이전트 노드' 변형은 다른 설계 변형보다 일관되게 뛰어난 성능을 보이며 어텐션 기반 도메인 수준 특징 집계의 효과를 확인했다.
• 절단 분석 결과 RDSBN과 MDIF는 상호 보완적임을 입증했다: 두 모듈을 함께 사용할 때 가장 우수한 성능가를 기록하였으며, 도메인 특화 및 도메인 융합 관점의 조합이 적응 성능 향상에 기여함을 시사한다.