[논문 리뷰] Exploring the Security Boundary of Data Reconstruction via Neuron Exclusivity Analysis

Xudong Pan, Mi Zhang외 3명|arXiv (Cornell University)|2020. 10. 26.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 ReLU 기반 완전 연결 신경망에서 모델 기울기로부터의 데이터 복원 공격의 보안 경계를 분석적으로 정의하기 위해 뉴런 독점성 분석을 도입한다. 비안정한 배치에서는 기존 방법보다 뛰어난 성능을 보이는 결정론적 공격 알고리즘을 제안하며, 안정한 배치에서는 유일한 복원이 불가능하다는 것을 증명함으로써, 새로운 독점성 감소 방어 전략을 제안한다.

ABSTRACT

Among existing privacy attacks on the gradient of neural networks, \emph{data reconstruction attack}, which reverse engineers the training batch from the gradient, poses a severe threat on the private training data. Despite its empirical success on large architectures and small training batches, unstable reconstruction accuracy is also observed when a smaller architecture or a larger batch is under attack. Due to the weak interpretability of existing learning-based attacks, there is little known on why, when and how data reconstruction attack is feasible. In our work, we perform the first analytic study on the security boundary of data reconstruction from gradient via a microcosmic view on neural networks with rectified linear units (ReLUs), the most popular activation function in practice. For the first time, we characterize the insecure/secure boundary of data reconstruction attack in terms of the \emph{neuron exclusivity state} of a training batch, indexed by the number of \emph{ extbf{Ex}clusively extbf{A}ctivated extbf{N}eurons} (ExANs, i.e., a ReLU activated by only one sample in a batch). Intuitively, we show a training batch with more ExANs are more vulnerable to data reconstruction attack and vice versa. On the one hand, we construct a novel deterministic attack algorithm which substantially outperforms previous attacks for reconstructing training batches lying in the insecure boundary of a neural network. Meanwhile, for training batches lying in the secure boundary, we prove the impossibility of unique reconstruction, based on which an exclusivity reduction strategy is devised to enlarge the secure boundary for mitigation purposes.

연구 동기 및 목표

• 모델 기울기에서의 데이터 복원이 가능하거나 불가능한 기본 조건을 이해하는 것.
• 다양한 배치 크기와 네트워크 아키텍처 간에 일관되지 않은 복원 성능의 근본 원인을 규명하는 것.
• 뉴런 독점성 상태에 기반한 이론적으로 탄탄한 데이터 복원 공격 보안 경계를 수립하는 것.
• 비안정한 배치에서 기존의 학습 기반 방법보다 뛰어난 성능을 보이는 결정론적 공격 알고리즘을 개발하는 것.
• 독점성 감소를 통해 특정 조건 하에서 유일한 복원이 불가능하다는 것을 증명함으로써, 보다 넓은 범위의 안정성 경계를 확장하는 방어 전략을 제안하는 것.

제안 방법

• 한 번의 배치에서 오직 한 개의 샘플에만 활성화되는 ReLU 유닛 수를 세는 '독점적으로 활성화된 뉴런(ExANs)' 메트릭을 도입한다.
• 충분한 ExANs가 존재하는 배치를 비안정 경계로 정의하며, 이는 선형 시스템의 해가 존재하기 때문에 복원이 가능하다는 점에서 기인한다.
• 기울기 일치에서 유도된 선형 시스템을 해결함으로써 결정론적 공격 알고리즘을 구축하며, ExANs를 통해 해 공간을 제약한다.
• ExANs 수가 부족할 경우(독점성 부족 시) 선형 시스템이 과소결정이 되어 유일한 복원이 불가능하다는 것을 증명한다.
• 독점성 감소를 방어 전략으로 제안: 학습 배치를 수정하여 ExANs를 감소시킴으로써 보다 넓은 안정 경계를 확보한다.
• CIFAR-100 및 Facescrub 데이터셋을 대상으로 PSNR를 메트릭으로 사용하여 공격 및 방어 메커니즘의 실증적 평가를 수행한다.

실험 결과

연구 질문

• RQ1 기울기에서의 데이터 복원 가능성을 결정짓는 학습 배치의 구조적 특성은 무엇인가?
• RQ2 실증 관측과는 달리, 더 큰 배치 크기나 얕은 네트워크에서 데이터 복원 성능이 떨어지는 이유는 무엇인가?
• RQ3 뉴런 수준의 활성화 패턴을 사용해 데이터 복원의 보안 경계를 분석적으로 특성화할 수 있는가?
• RQ4 특정 조건 하에서 유일한 복원이 불가능하다는 것을 증명할 수 있는가?
• RQ5 독점성 감소는 데이터 복원의 안정 영역을 확장하기 위한 실용적인 방어 수단으로 사용될 수 있는가?

주요 결과

• 더 많은 독점적으로 활성화된 뉴런(ExANs)을 가진 배치는 데이터 복원 공격에 훨씬 더 취약하다.
• 제안된 결정론적 공격은 비안정한 배치에서 PSNR >30을 달성하여 이전의 학습 기반 방법보다 뚜렷이 뛰어난 성능을 보였다.
• Facescrub 데이터셋에서 ExANs가 존재하는 그룹은 평균 PSNR 11.83를 기록했고, ExANs가 없는 그룹은 10.47이었으며, 이는 ExANs가 공격 성공에 기여한다는 것을 확인한다.
• ExANs 수가 부족한 배치에서는 과소결정 선형 시스템으로 인해 유일한 복원이 불가능하다는 것이 증명되었다.
• 독점성 감소는 복원이 불가능한 배치의 범위를 넓힘으로써 보안 경계를 효과적으로 확장한다.
• ExANs를 제거할 경우 공격 성능이 크게 떨어지며, 이는 ExANs가 취약성의 핵심 지표임을 확인한다.