[논문 리뷰] Quantifying Information Leakage from Gradients.

Fan Mo, Anastasia Borovykh외 3명|arXiv (Cornell University)|2021. 05. 28.

Adversarial Robustness in Machine Learning참고 문헌 52인용 수 6

한 줄 요약

이 논문은 공동 학습에서 딥 네ural 네트워크 기울기에서 기원하는 원본 및 잠재 정보 泄露를 정량화하기 위해 정보 이론적 신규 지표를 제안한다. 기울기 민감도와 부분공간 거리의 활용을 통해 첫 번째 레이어가 가장 많은 원본 데이터를 泄露하고, 분류기 레이어가 가장 많은 잠재 속성을 泄露하는 것으로 드러나며, 기울기 집합과 같은 학습 초모수가 泄露를 감소시킬 수 있음을 입증한다.

ABSTRACT

Sharing deep neural networks' gradients instead of training data could facilitate data privacy in collaborative learning. In practice however, gradients can disclose both private latent attributes and original data. Mathematical metrics are needed to quantify both original and latent information leakages from gradients computed over the training data. In this work, we first use an adaptation of the empirical $\mathcal{V}$-information to present an information-theoretic justification for the attack success rates in a layer-wise manner. We then move towards a deeper understanding of gradient leakages and propose more general and efficient metrics, using sensitivity and subspace distance to quantify the gradient changes w.r.t. original and latent information, respectively. Our empirical results, on six datasets and four models, reveal that gradients of the first layers contain the highest amount of original information, while the classifier/fully-connected layers placed after the feature extractor contain the highest latent information. Further, we show how training hyperparameters such as gradient aggregation can decrease information leakages. Our characterization provides a new understanding on gradient-based information leakages using the gradients' sensitivity w.r.t. changes in private information, and portends possible defenses such as layer-based protection or strong aggregation.

연구 동기 및 목표

• 공동 학습에서 모델 기울기에서 기인하는 정보 泄露를 정량화하는 데 수학적 지표가 부족한 문제를 해결하기 위해.
• 기울기 업데이트를 통해 원본 학습 데이터와 비밀 잠재 속성 간의 泄露를 구분하기 위해.
• 비밀 정보 변화에 대한 민감도를 캡처하는 효율적인 계층별 지표를 개발하기 위해.
• 기울기 집합과 같은 학습 초모수의 변화가 정보 泄루에 어떤 영향을 미치는지 평가하기 위해.
• 정보 泄루 특성 분석에 기반한 계층별 보호 전략을 통해 표적 방어를 가능하게 하기 위해.

제안 방법

• 실증적 V-정보를 계층별로 공격 성공률를 정당화하기 위해 적응 적용한다.
• 입력 변화에 대한 민감도를 측정하는 지표로 기울기 민감도를 제안하여 원본 데이터 泄루를 정량화한다.
• 기울기 부분공간 간의 부분공간 거리를 도입하여 잠재 속성의 泄루를 측정한다.
• 여섯 개의 데이터셋과 네 종류의 모델을 대상으로 이 지표들을 적용하여 계층별 泄루 패턴을 분석한다.
• 기울기 집합과 같은 초모수의 영향을 분석하여 泄루 감소 효과를 평가한다.
• 정보 이론적 원리를 활용하여 민감도 및 부분공간 거리 측정의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크의 어느 레이어가 기울기를 통해 가장 많은 원본 학습 데이터를 泄루하는가?
• RQ2 어느 레이어가 기울기 업데이트를 통해 가장 많은 비밀 잠재 속성을 泄루하는가?
• RQ3 입력 데이터의 변화가 기울기 민감도에 어떤 영향을 미치며, 이는 원본 정보 泄루에 대해 무엇을 드러내는가?
• RQ4 기울기 집합은 어느 정도의 정도로 모든 계층에 걸쳐 정보 泄루를 감소시킬 수 있는가?
• RQ5 기울기 부분공간 간의 부분공간 거리는 잠재 속성 泄루를 효과적으로 측정할 수 있는가?

주요 결과

• 기울기 입력 변화에 대한 민감도 측정 결과, 딥 네럴 네트워크의 첫 번째 레이어가 가장 높은 원본 정보 泄루를 포함한다.
• 특징 추출기 이후의 분류기 및 완전 연결 레이어가 기울기 부분공간 간의 부분공간 거리 측정 결과로 가장 높은 잠재 정보 泄루를 보인다.
• 모델 및 데이터셋 전반에 걸쳐 학습 중 기울기 집합이 원본 및 잠재 정보 泄루를 크게 감소시킨다.
• 제안된 민감도 및 부분공간 거리 지표는 계층별 泄루 패턴을 효과적으로 캡처하여 세분화된 분석이 가능하다.
• 결과적으로 계층 기반 보호 전략(예: 차별적 프라이버시 또는 기울기 마스킹)을 고위험 泄루 레이어에 우선 적용할 수 있음을 시사한다.
• 여섯 개의 데이터셋과 네 종류의 모델에 대한 실증적 평가를 통해 일관된 泄루 패턴이 확인되었으며, 제안된 지표의 강건성을 검증한다.