[논문 리뷰] Privacy Vulnerability of Split Computing to Data-Free Model Inversion Attacks

Xin Dong, Hongxu Yin외 4명|arXiv (Cornell University)|2021. 07. 13.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 데이터 없이 분할 계산 환경에서 중간 특징에서 고해상도 입력 이미지를 복원하는 데이터 프리 모델 역공학 기법인 Divide-and-Conquer Inversion (DCI)을 제안한다. 깊이 있는 신경망을 얕은 블록으로 분할하고, 합성 데이터와 사이클 일致성(cycle-consistency)을 활용하여 실수 데이터나 생성 사전 지식(generative priors) 없이도 ImageNet과 CelebA에서 최신 기준 성능을 달성한다. 이는 실수 데이터 없이도 최대 42층 깊이의 특징에서 인식 가능한 이미지를 복원할 수 있음을 보여준다.

ABSTRACT

Mobile edge devices see increased demands in deep neural networks (DNNs) inference while suffering from stringent constraints in computing resources. Split computing (SC) emerges as a popular approach to the issue by executing only initial layers on devices and offloading the remaining to the cloud. Prior works usually assume that SC offers privacy benefits as only intermediate features, instead of private data, are shared from devices to the cloud. In this work, we debunk this SC-induced privacy protection by (i) presenting a novel data-free model inversion method and (ii) demonstrating sample inversion where private data from devices can still be leaked with high fidelity from the shared feature even after tens of neural network layers. We propose Divide-and-Conquer Inversion (DCI) which partitions the given deep network into multiple shallow blocks and inverts each block with an inversion method. Additionally, cycle-consistency technique is introduced by re-directing the inverted results back to the model under attack in order to better supervise the training of the inversion modules. In contrast to prior art based on generative priors and computation-intensive optimization in deriving inverted samples, DCI removes the need for real device data and generative priors, and completes inversion with a single quick forward pass over inversion modules. For the first time, we scale data-free and sample-specific inversion to deep architectures and large datasets for both discriminative and generative networks. We perform model inversion attack to ResNet and RepVGG models on ImageNet and SNGAN on CelebA and recover the original input from intermediate features more than 40 layers deep into the network.

연구 동기 및 목표

• 분할 계산이 데이터 프라이버시를 보호한다는 가정을 도전하기 위해, 중간 특징이 여전히 원본 데이터를 泄露할 수 있음을 입증하는 것.
• 실수 학습 데이터나 사전 학습된 생성 모델에 의존하지 않는 데이터 프리 역공학 방법을 개발하는 것.
• 이를 위해 깊이 있는 아키텍처와 ImageNet, CelebA와 같은 대규모 데이터셋으로의 확장성을 확보하는 것.
• 분할 계산 환경에서의 데이터 泄露 측정 및 프라이버시 위험 평가를 위한 실용적인 도구를 제공하는 것.

제안 방법

• 목표 딥 네트워크를 여러 개의 얕은 블록으로 나누어 계층별 역공학을 가능하게 한다.
• 실제 특징의 배치 정규화 통계와 일치하도록 생성된 합성 데이터를 사용해 각 블록의 역공학 모듈을 훈련시킨다.
• 출력된 역공학 결과를 다시 목표 네트워크로 입력하여 사이클 일치성(cycle consistency)을 적용함으로써 역공학 과정을 정교화한다.
• 실수 데이터에 의존하지 않고, 합성 입력과 실제 특징 통계 간의 특징 유사도 손실을 최적화하여 역공학 모듈을 최적화한다.
• 단일 순방향 전파를 통해 재구성된 입력을 생성함으로써 빠른 추론을 가능하게 한다.
• 구분 모델(예: ResNet, RepVGG)과 생성 모델(예: SNGAN)의 구조적 특성을 활용하여 공격의 일반화 능력을 높인다.

실험 결과

연구 질문

• RQ1 실수 학습 데이터나 사전 학습된 생성 모델에 접근할 수 없는 데이터 프리 환경에서 모델 역공학이 효과적으로 수행될 수 있는가?
• RQ2 깊이가 40층이 넘는 깊은 신경망의 중간 특징에서 원본 입력 데이터를 얼마나 정확히 복원할 수 있는가?
• RQ3 정밀도와 효율성 측면에서 기존 최신 기준 역공학 공격 대비 제안된 DCI 방법은 어떻게 비교되는가?
• RQ4 역공학 공격를 방지하기 위해 특징을 훼손하는 방식을 적용할 경우, 모델의 유용성과 방어 효과 사이의 상충 관계는 어떠한가?

주요 결과

• DCI는 ImageNet에서 ResNet과 RepVGG의 최대 42층 깊이의 중간 특징에서 고해상도 이미지를 성공적으로 복원하였으며, PSNR는 18.83, LPIPS는 0.443을 기록했다.
• 이 방법은 재구성 MSE가 0.013로, 이전 방법들인 GMI(0.104)와 rMSE(0.082)보다 유의미하게 뛰어나다.
• DCI의 추론 시간은 15ms당 샘플(1.5×10⁻² s)로, 다음으로 빠른 방법(DI, 1.9×10³ s)보다 100배 이상 빠르다.
• 공격는 생성 모델인 SNGAN이 생성한 CelebA 샘플에도 일반화되어 높은 인지적 품질로 성공적으로 복원하였다.
• 노이즈 주입 및 특징 드롭아웃 방어 기법은 모델 정확도를 최대 20%까지 떨어뜨리며, 방어 효과는 제한적이므로 강력한 유용성-방어 성능 상충 관계가 드러났다.
• 사이클 일치성과 합성 데이터 생성을 통해 실수 데이터나 생성 사전 지식 없이도 효과적인 역공학이 가능함을 입증하였으며, 데이터 프리 모델 역공학의 새로운 패러다임을 제시하였다.