[논문 리뷰] Privacy-preserving machine learning with tensor networks

Alejandro Pozas-Kerstjens, Senaida Hernández-Santana외 5명|arXiv (Cornell University)|2022. 02. 24.

Quantum many-body systems인용 수 5

한 줄 요약

이 논문은 기계학습에서 기존 신경망의 대안으로 텐서 네트워크 아키텍처, 특히 행렬 곱 상태(MPS)를 제안한다. 새로운 캐논리컬 형식을 통해 잔류 게이지 자유도를 제거함으로써 MPS 모델은 예측 성능을 희생시키지 않은 채 강력한 프라이버시 보장을 달성한다. 이는 모델 파라미터에서 훈련 데이터의 관련 없는 특징을 공격자가 유추할 위험을 크게 감소시킨다.

ABSTRACT

Tensor networks, widely used for providing efficient representations of low-energy states of local quantum many-body systems, have been recently proposed as machine learning architectures which could present advantages with respect to traditional ones. In this work we show that tensor network architectures have especially prospective properties for privacy-preserving machine learning, which is important in tasks such as the processing of medical records. First, we describe a new privacy vulnerability that is present in feedforward neural networks, illustrating it in synthetic and real-world datasets. Then, we develop well-defined conditions to guarantee robustness to such vulnerability, which involve the characterization of models equivalent under gauge symmetry. We rigorously prove that such conditions are satisfied by tensor-network architectures. In doing so, we define a novel canonical form for matrix product states, which has a high degree of regularity and fixes the residual gauge that is left in the canonical forms based on singular value decompositions. We supplement the analytical findings with practical examples where matrix product states are trained on datasets of medical records, which show large reductions on the probability of an attacker extracting information about the training dataset from the model's parameters. Given the growing expertise in training tensor-network architectures, these results imply that one may not have to be forced to make a choice between accuracy in prediction and ensuring the privacy of the information processed.

연구 동기 및 목표

• 기본 피드포워드 신경망에서 훈련 데이터의 관련 없는 특징이 모델 파라미터에서 추론될 수 있는 새로운 프라이버시 취약점을 규명하고 분석하는 것.
• 게이지 대칭성과 모델 등가성에 기반한, 이러한 프라이버시 유출에 대한 강건성에 대한 형식적 조건을 수립하는 것.
• 특히 행렬 곱 상태(MPS)를 포함한 텐서 네트워크 아키텍처가 이러한 프라이버시 보장 조건을 본질적으로 만족하는지 보여주는 것.
• 잔류 게이지 자유도를 제거하는 새로운 MPS 캐논리컬 형식을 제안하여 정규성과 프라이버시를 향상시키는 것.
• 실제 의료 데이터셋을 사용하여 MPS와 표준 신경망 간의 프라이버시 우월성을 실증적으로 검증하는 것.

제안 방법

• 저자들은 모델 파라미터 업데이트 과정에서 비예측적 변수의 클래스 불균형과 같은 관련 없는 데이터 특징이 간접적으로 암호화되는 신경망의 프라이버시 취약점을 규명한다.
• 게이지 대칭성 하에서 모델 등가 파라미터 집합을 특성화함으로써 프라이버시 강건성 조건을 수립한다. 이는 파라미터 변화가 훈련 데이터의 구조를 드러내지 않음을 보장한다.
• 기존의 SVD 기반 캐논리컬 형식이 일부 모호성을 남기는 것과 달리, 모든 잔류 게이지 자유도를 고정하는 새로운 MPS 캐논리컬 형식을 구성한다.
• 표준 신경망에서의 원-핫 인코딩과는 다름없이, 고카테고리적 입력을 노이즈가 포함된 인코딩 방식으로 사용하여 의료 데이터셋에서 MPS 모델을 훈련시킨다.
• 백색 상자 색인 공격을 신경망과 MPS 모델 모두에 적용한다: 신경망의 경우는 평탄화된 가중치에 대해 로지스틱 회귀 모델을 훈련하고, MPS의 경우는 정규화된 모델 파라미터에 대해 깊은 피드포워드 네트워크를 훈련시어 관련 없는 특징의 다수 클래스를 예측한다.
• 실험은 200개의 데이터셋에서 20,000개의 훈련된 모델을 사용하며, 관련 없는 특징에서 다수 클래스 비율이 다양하게 설정된다. 공격자가 훈련에 사용할 수 있는 데이터셋은 80개, 테스트용으로는 20개이다.

실험 결과

연구 질문

• RQ1 표준 피드포워드 신경망의 파라미터에서 관련 없는 훈련 데이터 특징(예: 비예측적 변수의 클래스 불균형)을 추론할 수 있는가?
• RQ2 모델 파라미터가 관련 없는 훈련 데이터 특징에 대한 정보를 泄露하지 않도록 보장하는 수학적 조건은 무엇인가?
• RQ3 행렬 곱 상태와 같은 텐서 네트워크 아키텍처는 이러한 프라이버시 보장 조건을 본질적으로 만족하는가?
• RQ4 잔류 게이지 자유도를 제거하고 프라이버시를 향상시킬 수 있는 새로운 MPS 캐논리컬 형식을 구성할 수 있는가?
• RQ5 MPS 모델은 표준 신경망에 비해 색인 공격의 성공률을 어느 정도 감소시키는가?

주요 결과

• 제안된 MPS 캐논리컬 형식은 모든 잔류 게이지 자유도를 제거하여 SVD 기반 형식보다 더 규칙적이고 프라이버시에 유리한 파라미터화를 달성한다.
• 실험에서 SVD 기반 캐논리컬 형식을 사용한 경우에도 MPS 모델은 표준 신경망에 비해 색인 공격의 성공률이 크게 낮다.
• 실험 결과, 신경망의 경우 관련 없는 특징 불균형 추론 공격 성공률이 높았지만, MPS 모델은 이러한 泄露를 크게 감소시켰다.
• 결과는 MPS 모델이 모델 파라미터에서 관련 없는 훈련 데이터 특징에 대한 정보를 추출하려는 백색 상자 공격에 대해 강건함을 시사한다.
• 연구는 프라이버시와 예측 정확도가 상호 배타적이지 않음을 보여주며, 프라이버시 메커니즘이 모델 성능을 떨어뜨리지 않음을 입증한다.
• 결과는 텐서 네트워크가 노이즈 주입이 아닌 구조적 불변성에 기반해 프라이버시를 달성함으로써, 차별적 프라이버시의 수학적으로 탄탄한 대안을 제공할 수 있음을 시사한다.