[논문 리뷰] Segmentations-Leak: Membership Inference Attacks and Defenses in Semantic Image Segmentation

He Yang, Shadi Rahimian외 2명|arXiv (Cornell University)|2019. 12. 20.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 10

한 줄 요약

이 논문은 세분화 모델에 대한 최초의 소속성 추론 공격 및 방어 기법을 제안하며, 예측의 공간적 구조를 악용하는 핵심 공격 벡터로 구조적 손실 맵을 도입한다. Cityscapes, BDD100K, Mapillary Vistas에서 공격 성공률가 매우 높게 나타나(AUC > 0.9)며, DPSGD와 같은 방어 기법은 유틸리티 손실을 최소화(≤1.36 mIoU 감소)하면서 유출을 감소시켜, 성능 손실이 거의 없는 효과적인 개인정보 보호를 입증한다.

ABSTRACT

Today's success of state of the art methods for semantic segmentation is driven by large datasets. Data is considered an important asset that needs to be protected, as the collection and annotation of such datasets comes at significant efforts and associated costs. In addition, visual data might contain private or sensitive information, that makes it equally unsuited for public release. Unfortunately, recent work on membership inference in the broader area of adversarial machine learning and inference attacks on machine learning models has shown that even black box classifiers leak information on the dataset that they were trained on. We show that such membership inference attacks can be successfully carried out on complex, state of the art models for semantic segmentation. In order to mitigate the associated risks, we also study a series of defenses against such membership inference attacks and find effective counter measures against the existing risks with little effect on the utility of the segmentation method. Finally, we extensively evaluate our attacks and defenses on a range of relevant real-world datasets: Cityscapes, BDD100K, and Mapillary Vistas.

연구 동기 및 목표

• 최신 세분화 모델이 훈련 데이터에 대한 소속성 정보를 누출하는지 여부를 조사하기 위해.
• 세분화 출력의 구조적 특성에 맞게 조정된 효과적인 소속성 추론 공격을 개발하기 위해.
• 세분화 유틸리티를 크게 떨어뜨리지 않으면서 소속성 누출을 줄이는 실용적인 방어 기법을 평가하고 제안하기 위해.
• Cityscapes, BDD100K, Mapillary Vistas와 같은 실제 웹 기반 데이터셋에서 개인정보 보호와 모델 성능 간의 트레이드오프를 평가하기 위해.

제안 방법

• 세분화 출력의 패치별 분석 기반의 소속성 추론 공격 파이프라인을 제안한다.
• 공격 오차의 공간적 구조를 캡처함으로써 소속성 추론에 유용한 새로운 표현인 구조적 손실 맵(SLMs)을 도입한다.
• 양성 및 비양성 샘플을 구분하기 위해 SLMs를 입력으로 사용하는 영향력 있는 샤로우 모델 기반 이진 분류기 학습을 수행한다.
• 다양한 방어 기법 평가: 추론 출력에 가우시안 노이즈 적용, 테스트 시 드롭아웃, 훈련 중 차별적 프라이버시 확보 확률적 경사 하강법(DPSGD) 적용.
• 소속성 탐지에 가장 유용한 영역을 분석하고 시각화하기 위해 클래스 활성화 맵(CAMs)을 활용한다.
• 추론 실험과 유틸리티-프라이버시 복합도 그래프(AUC 대 mIoU)를 통해 다양한 데이터셋 및 설정에서 방어 기법의 효과를 평가한다.

실험 결과

연구 질문

• RQ1 손실 맵과 같은 구조적 출력을 사용하여 세분화 모델에 대한 소속성 추론 공격를 성공적으로 수행할 수 있는가?
• RQ2 세분화 예측의 공간적 구조가 소속성 추론 공격 성공에 어떤 영향을 미치는가?
• RQ3 가우시안 노이즈, 드롭아웃, DPSGD 중 어떤 방어 기법이 소속성 누출을 가장 효과적으로 줄이고 세분화 유틸리티를 유지하는가?
• RQ4 다양한 방어 전략 하에서 개인정보 보호와 모델 성능(mIoU로 측정) 간의 트레이드오프는 어떠한가?
• RQ5 CAM과 같은 해석 가능성 기법은 소속성 추론에 가장 유용한 영역을 어떻게 드러내는가?

주요 결과

• 구조적 손실 맵(SLMs)가 가장 높은 공격 성공률를 기록하여, 평가된 모든 데이터셋에서 AUC 점수가 0.9를 초과하며, 신뢰도 점수나 원본 세분화 맵보다 뛰어난 성능을 보였다.
• 모델이나 데이터 분포에 대한 사전 지식 없이도 블랙박스 가정 하에서도 공격가 성공함을 입증하여, 모델 출력의 공간적 구조가 소속성 정보를 누출한다는 것을 보여주었다.
• DPSGD를 통한 차별적 프라이버시가 효과적으로 소속성 누출을 줄였으며, 거의 완벽한 개인정보 보호(AUC ≈ 0.5)를 달성했고, 세 데이터셋에서 성능 저하가 0.75–1.36 mIoU로 매우 미미했다.
• 추론 시점에 가우시안 노이즈를 적용하는 것은 훈련 비용이 들지 않으며 효과적인 경량 방어 기법으로, 소속성 보호를 위한 실용적 기준선을 제공한다.
• CAM을 통한 해석 가능성 분석 결과, 공격는 주로 물체 경계선과 클래스 교차 영역을 중심으로 집중하며, DPSGD와 같은 방어 기법은 이러한 핵심 영역을 크게 변화시켜 공격 성공률를 감소시킴을 확인했다.
• 이 연구는 세분화에서 소속성 추론이 실제 위협이 될 수 있음을 확인했으며, 특히 DPSGD와 추론 시점 노이즈를 통해 실현 가능한 유틸리티 유지 방어 기법이 존재함을 보여주었다.