[논문 리뷰] SBSGAN: Suppression of Inter-Domain Background Shift for Person Re-Identification

Yan Huang, Qiang Wu외 2명|arXiv (Cornell University)|2019. 08. 24.

Video Surveillance and Tracking Methods참고 문헌 33인용 수 10

한 줄 요약

이 논문은 배경 전환 현상을 억제하기 위해 배경을 완전히 제거하는 대신 중간 정도로 억제된 소프트 마스크 이미지를 생성하는 SBSGAN이라는 생성적 적대적 신경망을 제안한다. 이 소프트 마스크 이미지와 전체 배경 이미지를 융합한 Densely Associated 2-Stream 네트워크 및 Inter-Stream Densely Connection 모듈을 통해, 최신 기술 수준의 성능을 달성하였으며, 교차 도메인 재식별 벤치마크에서 랭크-1 정확도 최대 +6.6% 향상됨.

ABSTRACT

Cross-domain person re-identification (re-ID) is challenging due to the bias between training and testing domains. We observe that if backgrounds in the training and testing datasets are very different, it dramatically introduces difficulties to extract robust pedestrian features, and thus compromises the cross-domain person re-ID performance. In this paper, we formulate such problems as a background shift problem. A Suppression of Background Shift Generative Adversarial Network (SBSGAN) is proposed to generate images with suppressed backgrounds. Unlike simply removing backgrounds using binary masks, SBSGAN allows the generator to decide whether pixels should be preserved or suppressed to reduce segmentation errors caused by noisy foreground masks. Additionally, we take ID-related cues, such as vehicles and companions into consideration. With high-quality generated images, a Densely Associated 2-Stream (DA-2S) network is introduced with Inter Stream Densely Connection (ISDC) modules to strengthen the complementarity of the generated data and ID-related cues. The experiments show that the proposed method achieves competitive performance on three re-ID datasets, ie., Market-1501, DukeMTMC-reID, and CUHK03, under the cross-domain person re-ID scenario.

연구 동기 및 목표

• 다른 데이터셋 간의 성능 일반화를 떨어뜨리는 사람 재식별에서의 도메인 간 배경 전환 문제를 해결한다.
• 완전한 제거가 아니라 중간 정도의 배경 억제가 보다 잘 유지된 전경 특징과 도메인 간 격차를 줄이는 데 효과적인지 조사한다.
• 동반자, 차량 등 신원과 관련된 배경 케이스를 재식별 과정에 통합하는 방법을 개발한다.
• 소프트 마스크 이미지와 전체 배경 이미지에서 유래한 특징을 효과적으로 융합하는 이중 스트림 네트워크 아키텍처를 제안한다.
• 도메인 간 스타일 일관성이 유지되는 소프트 마스크 생성이 하드 마스크나 일반적인 스타일 전이보다 교차 도메인 재식별 성능을 향상시키는지 입증한다.

제안 방법

• 이중 스트림 네트워크에서 소프트 마스크 이미지를 생성하기 위해 배경 픽셀을 억제하면서도 전경 특징을 유지하는 조건부 GAN인 SBSGAN을 제안하며, 이중 마스크가 아닌 유연한 소프트 마스크를 사용한다.
• 다양한 도메인 간 생성된 소프트 마스크 이미지의 스타일을 정규화하기 위해 스타일 일관성 손실($\mathcal{L}_{sc}$)을 통합하여 도메인 간 분포 이질성을 감소시킨다.
• 소프트 마스크 이미지와 전체 배경 이미지를 별도의 스트림에서 처리하여 상보적인 특징을 활용하는 Densely Associated 2-Stream (DA-2S) 네트워크를 설계한다.
• 역전파 중 양방향 기울기 전파와 특징 융합을 가능하게 하는 Inter-Stream Densely Connection (ISDC) 모듈을 도입한다.
• 특징 맵을 적응적으로 재조정하여 표현 학습을 향상시키기 위해 ISDC 모듈 내부에 SEBlocks를 활용하지만, 실험 결과 과도한 사용은 과적합을 유도함을 확인하였다.
• 이미지 생성 및 재식별 성능 최적화를 위해 적대적 손실, 재구성 손실, 신원 분류 손실의 조합을 사용해 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 소프트 마스크를 통한 중간 정도의 배경 억제가 하드 이진 마스크보다 교차 도메인 사람 재식별에서 도메인 전환을 더 효과적으로 줄일 수 있는가?
• RQ2 소프트 마스크 이미지와 함께 배경에 포함된 신원 관련 맥락 정보(예: 동반자, 차량 등)를 통합할 경우 재식별 성능에 어떤 영향을 미치는가?
• RQ3 도메인 간 스타일 일관성($\mathcal{L}_{sc}$를 통해 강제로 유지할 경우, 생성된 이미지의 일반화 능력과 후속 재식별 정확도는 얼마나 향상되는가?
• RQ4 상호 스트림 밀접 연결(ISDC)을 갖춘 이중 스트림 아키텍처가 소프트 마스크 및 전체 배경 이미지에서 유래한 특징 융합에서 표준 2스트림 네트워크보다 우월한가?
• RQ5 다양한 도메인에서 훈련된 단일 SBSGAN 모델이 두 도메인에서만 훈련된 모델보다 더 나은 일반화 능력을 보이며, 특히 확장성과 성능 측면에서 유리한가?

주요 결과

• SBSGAN이 생성한 소프트 마스크 이미지는 Market-1501 → DukeMTMC-reID 교차 도메인 설정에서 랭크-1 정확도 43.3%를 기록하여 하드 마스크 방법과 일반 스타일 전이 GAN보다 높은 성능을 달성하였다.
• 스타일 일관성 손실($\mathcal{L}_{sc}$)의 포함으로 mAP가 1.1% 향상되고 랭크-1 정확도가 1.6% 향상되어 도메인 간 스타일 불일치를 감소시키는 데 효과적임을 입증하였다.
• Market-1501 → CUHK03 벤치마크에서 제안된 방법은 두 도메인 설정에서 랭크-1 정확도 44.2%와 mAP 23.5%를 달성하였으며, PTGAN 대비 랭크-1 정확도에서 +8.9% 향상되었다.
• ISDC 모듈을 탑재한 DA-2S 네트워크는 mAP 30.8%와 랭크-1 정확도 53.5%를 기록하여 기준 모델 대비 2.7% 향상되어 상호 스트림 특징 융합의 효과를 확인하였다.
• 절단 실험 결과, 모든 ISDC 모듈에 SEBlocks를 추가하면 과적합 위험이 증가하고 랭크-1 정확도가 2% 감소함을 확인하여 최적의 배치 위치가 매우 중요함을 시사하였다.
• DA-2S 네트워크에서 소프트 마스크 이미지와 전체 배경 이미지를 융합하면 단일 모odal 사용보다 더 높은 성능을 달성하여 상보적 특징 학습의 가치를 입증하였다.