[논문 리뷰] Feature Space Hijacking Attacks against Differentially Private Split Learning

Grzegorz Gawron, Philip Stubbings|arXiv (Cornell University)|2022. 01. 11.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 기밀성 보장이 있는 분할 학습 시스템에서 특성 공간 해킹 공격(FSHA)이 저비용 비밀 보장(ε) 조건에서도 개인 정보를 성공적으로 재구성할 수 있음을 보여준다. 텐서플로우-프라이버시를 통해 차별적 프라이버시(DP)를 적용함에도 불구하고 공격자는 고해상도 재구성을 이룩하며, 이는 공격자가 서버를 제어하고 개인 데이터 분포와 일치하는 공개 데이터에 접근할 경우 DP가 이러한 재구성 공격에 대해 충분히 보호하지 못함을 시사한다.

ABSTRACT

Split learning and differential privacy are technologies with growing potential to help with privacy-compliant advanced analytics on distributed datasets. Attacks against split learning are an important evaluation tool and have been receiving increased research attention recently. This work's contribution is applying a recent feature space hijacking attack (FSHA) to the learning process of a split neural network enhanced with differential privacy (DP), using a client-side off-the-shelf DP optimizer. The FSHA attack obtains client's private data reconstruction with low error rates at arbitrarily set DP epsilon levels. We also experiment with dimensionality reduction as a potential attack risk mitigation and show that it might help to some extent. We discuss the reasons why differential privacy is not an effective protection in this setting and mention potential other risk mitigation methods.

연구 동기 및 목표

• 분할 학습 아키텍처에서 특성 공간 해킹 공격(FSHA)에 대비한 차별적 프라이버시(DP)의 효과성을 평가하는 것.
• 분할 학습에서 클라이언트 측 모델 학습에 DP를 적용할 경우 FSHA를 완화할 수 있는지 조사하는 것.
• 차별적 프라이버시가 적용된 분할 학습에서 차원 축소가 FSHA에 대한 잠재적 방어 수단이 될 수 있는지 탐색하는 것.
• 공개 데이터셋과 개인 데이터셋 간의 데이터 분포 유사성이 FSHA 성공에 어떤 영향을 미치는지 평가하는 것.
• 서버가 해킹당하고 공격자가 클라이언트의 훈련된 모델에 접근할 수 있을 경우 DP의 개인 정보 보호 기능에 대한 한계를 규명하는 것.

제안 방법

• TensorFlow-Privacy에서 제공하는 차별적 프라이버시 최적화기(DPOptimizer)를 사용한 분할 신경망에 FSHA를 적용하였다.
• 중간 특성 표현에서 개인 정보를 재구성하기 위해 서버 측 자동에코더와 판별기 모델을 사용하였다.
• TensorFlow-Privacy 라이브러리를 통해 기울기 클리핑과 노이즈 주입을 적용하여 클라이언트 모델 훈련에 DP를 적용하였다.
• MNIST 및 Fashion-MNIST 데이터셋을 대상으로 다양한 DP ε 수준에서 공격 성능을 평가하였으며, 차원 축소 유무 조건에서도 평가하였다.
• 훈련 이전에 입력 데이터에 대해 PCA 기반 차원 축소를 적용하여 FSHA 재구성 품질에 미치는 영향을 테스트하였다.
• 훈련된 자동에코더를 사용해 개인 정보를 재구성하고, 원본 입력과 비교하여 재구성 정확도를 측정하였다.

실험 결과

연구 질문

• RQ1 차별적 프라이버시가 클라이언트 모델에 적용된 분할 학습 시스템에서도 특성 공간 해킹 공격이 개인 정보를 재구성할 수 있는가?
• RQ2 비밀 보장 예산 ε의 선택이 차별적 프라이버시가 적용된 분할 학습에서 FSHA 성공에 어떤 영향을 미치는가?
• RQ3 입력 데이터의 차원 축소가 FSHA를 통한 개인 정보 재구성 효과를 감소시키는가?
• RQ4 공개 데이터와 개인 데이터의 분포 유사성이 FSHA 재구성 품질에 어느 정도의 영향을 미치는가?
• RQ5 공격자가 서버를 제어하고 클라이언트의 모델 파ram에 접근할 경우, 왜 차별적 프라이버시가 FSHA에 대해 실패하는가?

주요 결과

• FSHA는 저비용 비밀 보장(ε = 0.1) 조건에서도 MNIST 및 Fashion-MNIST에서 고해상도 재구성을 성공적으로 수행하여, DP가 재구성 공격을 방지하지 못함을 입증하였다.
• 차별적 프라이버시 적용으로 인해 FSHA 수렴 또는 재구성 품질이 유의미하게 저하되지 않아, DP 노이즈만으로는 이러한 공격을 차단하기에 부족함을 시사한다.
• 재구성 결과물은 식별 가능하고 의미적으로 유의미했으며, 옷자락 무늬나 얼굴 구조 등의 특징이 DP에도 불구하고 유지되었다.
• PCA를 통한 차원 축소는 재구성 품질을 저하시켰고, 특히 구성 요소 수가 적을 경우(예: 2 또는 4개) 개인 식별성이 떨어졌다.
• 공격 성공은 공개 데이터와 개인 데이터 분포 간의 유사성에 크게 의존하였으며, 유사성이 높을수록 더 나은 재구성이 이루어졌다.
• 결과적으로 차별적 프라이버시만으로는 서버 측 FSHA로부터 분할 학습을 보호하는 데 부족하며, 보안 실행 환경이나 데이터 사전 처리와 같은 추가 방어 조치가 필요함을 시사한다.