[논문 리뷰] Practical Defences Against Model Inversion Attacks for Split Neural Networks

Tom Titcombe, Adam James Hall외 2명|arXiv (Cornell University)|2021. 04. 12.

Privacy-Preserving Technologies in Data참고 문헌 31인용 수 26

한 줄 요약

이 논문은 SplitNN 연합학습에서 모델 역전 공격을 연구하고 간단한 Laplacian 노이즈 방어를 도입하며 NoPeekNN과 비교하고 MNIST에서 프라이버시-유용성 trade-off를 분석한다.

ABSTRACT

We describe a threat model under which a split network-based federated learning system is susceptible to a model inversion attack by a malicious computational server. We demonstrate that the attack can be successfully performed with limited knowledge of the data distribution by the attacker. We propose a simple additive noise method to defend against model inversion, finding that the method can significantly reduce attack efficacy at an acceptable accuracy trade-off on MNIST. Furthermore, we show that NoPeekNN, an existing defensive method, protects different information from exposure, suggesting that a combined defence is necessary to fully protect private user data.

연구 동기 및 목표

• SplitNN에서 악의적인 서버가 입력 데이터를 복원하기 위해 모델 역전을 수행할 수 있는 위협 모델을 정의한다.
• 데이터 가용성 및 사전 지식이 주어진 상황에서 공격 효율성의 실질적 한계를 평가한다.
• 일방향 노이즈 기반 방어를 제안하고 이를 NoPeekNN과 비교한다.
• MNIST에서 프라이버시-유용성 균형을 논의하기 위해 결합 방어를 평가한다.

제안 방법

• 데이터 소유자 측의 중간 데이터 표현에 합산 Laplacian 노이즈를 추가하여 서버로 전송하기 전에 노이즈를 적용한다.
• NoPeekNN 손실 가중치와 노 defense를 이용해 분류기를 학습하고 알파를 {0.1,0.5,1.0} 및 노이즈 스케일 b를 {0.1,0.5,1.0}로 탐색한다.
• 중간 표현으로부터 입력을 재구성하기 위해 서로 다른 데이터 세트에서 공격 모델을 학습하고 공격자의 지식을 변화시킨다(예: EMNIST를 대리로 사용).
• 공격 방어의 효과를 정성적으로 비교(재구성 이미지)하고 원래 데이터와 재구성 데이터 간의 거리 상관관계(정확도 영향 포함)를 통해 정량적으로 비교한다.
• 훈련 시 DP 메커니즘의 도입 가능성을 향후 연구로 논의하여 memorised training data를 보호하는 방안을 모색한다.

실험 결과

연구 질문

• RQ1 SplitNN에서 악의적인 계산 서버가 데이터 분포 지식이 제한된 상황에서 모델 역 attack를 통해 입력 데이터를 추출할 수 있는가?
• RQ2 간단한 합산 Laplacian 노이즈 방어가 SplitNN에서 모델 역전을 완화하는 데 NoPeekNN과 비교하여 얼마나 효과적인가?
• RQ3 노이즈 방어, NoPeekNN 또는 이들의 조합을 적용했을 때 모델 유용도(분류 정확도)에 미치는 영향은 어떠한가?
• RQ4 MNIST에서 노이즈와 NoPeekNN의 조합이 더 robust한 프라이버시-유용성 균형을 제공하는가?
• RQ5 공격자의 지식과 데이터 세트 규모가 재구성 성공에 어떤 영향을 미치는가?

주요 결과

노이즈 스케일	NoPeekNN 가중치	정확도 (%)	거리 상관관계
0.0	0.1	98.04	0.472 ± 0.004
0.0	0.2	97.80	0.390 ± 0.003
0.0	0.5	97.90	0.368 ± 0.004
0.1	0.0	98.19	0.804 ± 0.004
0.1	0.1	97.84	0.474 ± 0.003
0.1	0.5	98.00	0.411 ± 0.004
0.2	0.0	98.00	0.811 ± 0.004
0.2	0.1	97.98	0.491 ± 0.003
0.2	0.5	97.46	0.411 ± 0.003
0.5	0.0	98.24	0.795 ± 0.004
0.5	0.1	97.52	0.525 ± 0.003
0.5	0.5	97.38	0.437 ± 0.003

• 노이즈 방어와 NoPeekNN 모두 MNIST에서 분류 정확도에 큰 영향을 주지 않는다.
• NoPeekNN은 입력과 중간 데이터 간의 거리 상관관계를 감소시키는 것으로 기대되듯 감소시키지만, 방어 강도가 낮은 경우에도 재구성은 여전히 정보적으로 유용하다.
• 합산 Laplacian 노이즈는 노이즈 스케일 1.0에서 재구성을 크게 파괴할 수 있지만 상당한 정확도를 유지한다.
• NoPeekNN과 노이즈의 조합은 보완적인 프라이버시 이점을 제공할 수 있으며 재구성의 질적 차이가 있다.
• 공격자의 지식이 제한적이고 데이터 세트가 작을 때도 공격 성능이 여전히 가능하여 SplitNN의 실용적 프라이버시 위험을 시사한다.