[논문 리뷰] Towards Privacy-Preserving Person Re-identification via Person Identify Shift

Shuguang Dou, Xinyang Jiang외 3명|arXiv (Cornell University)|2022. 07. 15.

Video Surveillance and Tracking Methods인용 수 6

한 줄 요약

이 논문은 사람 재식별(ReID)을 위한 개인정보 보호형 탈식별 방법인 개인 신원 이동(Person Identity Shift, PIS)을 제안한다. PIS는 이미지 쌍 간의 상대적 신원 관계를 유지하면서 보행자 신원을 새로운 허구의 신원으로 이동시킴으로써 개인정보 보호와 ReID 성능 간의 우수한 트레이드오프를 달성한다. 변동형 오토인코더의 잠재공간 내부 보간을 활용함으로써, PIS는 기존의 DP-SGD 및 노이즈 기반 접근 방식보다 Market-1501 및 PCB 데이터셋에서 뛰어난 성능을 보인다.

ABSTRACT

Recently privacy concerns of person re-identification (ReID) raise more and more attention and preserving the privacy of the pedestrian images used by ReID methods become essential. De-identification (DeID) methods alleviate privacy issues by removing the identity-related of the ReID data. However, most of the existing DeID methods tend to remove all personal identity-related information and compromise the usability of de-identified data on the ReID task. In this paper, we aim to develop a technique that can achieve a good trade-off between privacy protection and data usability for person ReID. To achieve this, we propose a novel de-identification method designed explicitly for person ReID, named Person Identify Shift (PIS). PIS removes the absolute identity in a pedestrian image while preserving the identity relationship between image pairs. By exploiting the interpolation property of variational auto-encoder, PIS shifts each pedestrian image from the current identity to another with a new identity, resulting in images still preserving the relative identities. Experimental results show that our method has a better trade-off between privacy-preserving and model performance than existing de-identification methods and can defend against human and model attacks for data privacy.

연구 동기 및 목표

• 사람 재식별(ReID) 시스템에서 개인정보 보호와 데이터 활용성 간의 균형을 맞추는 데 도전하는 것.
• 절대적 신원 정보를 제거하면서도 ReID에 필수적인 상대적 신원 관계를 손상시키지 않는 탈식별 방법을 개발하는 것.
• 신원 이동를 통해 약하게 암호화된 신원을 적용하여, 개인정보 제약 조건 하에 공개 ReID 데이터셋을 배포할 수 있도록 하는 것.
• 모델 기반 및 인간 기반의 개인정보 유출 공격을 모두 방어하면서도 모델 성능을 유지하는 것.
• 고성능 ReID 활용도를 유지하면서도 차별적 프라이버시와 직접적인 데이터 왜곡의 실용적 대안을 제공하는 것.

제안 방법

• PIS는 변동형 오토인코더(VAE)를 사용하여 원천 보행자 이미지와 기준 이미지 간의 잠재공간 내에서 보간을 수행함으로써, 새로운 신원을 가진 이미지를 생성한다.
• 잠재 코드의 가중 조합을 적용한다: $ z = \lambda z_{\text{ref}} + (1-\lambda) z_{\text{src}} $, 여기서 $ \lambda \in [0,1] $ 는 혼합 강도를 제어한다.
• 각 이미지는 동일한 신원에서 유래한 이미지 간의 유사성을 유지하면서 새로운 신원으로 변환되며, 이는 동일 신원에서 유래한 이미지가 이동 후에도 유사하게 유지됨을 보장한다.
• DP-SGD와 달리 모델 아키텍처를 수정하지 않으며, 배치 정규화(BatchNorm) 레이어를 그룹 정규화(GroupNorm)로 대체할 필요도 없다.
• PIS는 직접적인 원본 신원과의 연결이 없고, 인간이 읽을 수 있으며 시각적으로 자연스러운 이미지를 생성함으로써 프라이버시를 강화하면서도 ReID 활용도를 손상시키지 않는다.
• 성능과 프라이버시 간의 트레이드오프를 정량화하기 위해 타겟 유용성, 프라이버시 예산, PU-Score를 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 절대적 신원 정보를 제거하면서도 보행자 이미지 쌍 간의 상대적 신원 관계를 유지할 수 있는가?
• RQ2 잠재공간 내부 보간을 통한 신원 이동이 후속 작업에 충분한 ReID 성능을 유지하는가?
• RQ3 PIS는 차별적 프라이버시(DP-SGD) 및 무작위 노이즈 주입 방식과 비교해 프라이버시-유용성 트레이드오프에서 어떻게 성과를 내는가?
• RQ4 PIS는 인간 기반 및 모델 기반 개인정보 공격을 모두 방어할 수 있는가?
• RQ5 PIS는 현재 개인정보 우려로 인해 제한된 공개 ReID 데이터셋에 적용 가능한가?

주요 결과

• PIS는 PCB 모델에서 mAP 47.9와 Rank-1 정확도 73.1을 기록했으며, 동일한 설정에서 DP-SGD는 단지 4.5 mAP와 17.6 Rank-1을 기록하여 뚜렷한 성능 우월성을 보였다.
• ResNet-50에서 PIS는 46.5 mAP와 67.0 Rank-1을 달성했고, DP-SGD는 고밀도 프라이버시 예산(ε=50) 조건에서도 수렴하지 못했다.
• 시각화 비교를 통해 PIS는 높은 내부 클래스 일致성을 유지하고 있음을 확인했으며, 동일 신원에서 유래한 이미지가 이동 후에도 시각적으로 유사하게 유지됨을 보였다.
• 외관 코드에 무작위 라플라스 노이즈를 추가하면 Rank-1 정확도가 33.4%로 떨어지며, PIS의 73.1%에 비해 유 significantly 낮은 성능을 보여, PIS가 더 뛰어난 활용도 유지 능력을 지닌다.
• PIS의 PU-Score는 60.4에 도달했고, 무작위 라플라스 노이즈의 45.4보다 높아, 더 나은 프라이버시-유용성 균형을 확인했다.
• PIS는 개인정보가 민감한 ReID 데이터셋을 신원 이동을 통해 배포할 수 있는 잠재적 가능성을 제공하며, 더 넓은 커뮤니티의 접근을 가능하게 한다.