[논문 리뷰] Layer-wise Characterization of Latent Information Leakage in Federated Learning

Fan Mo, Anastasia Borovykh외 3명|arXiv (Cornell University)|2020. 10. 17.

Privacy-Preserving Technologies in Data참고 문헌 65인용 수 12

한 줄 요약

이 논문은 페더레이티드 러닝에서 계층별 잠재 정보 泄露를 측정하기 위해 두 가지 새로운 지표—$Π$-정보와 기울기 민감도—를 제안한다. 이는 사용 가능한 프라이버시 위험(단지 샤논 상호정보량이 아닌)이 더 깊은 계층에서 증가함을 보여주며, 유용한 정보 위험을 정량화함으로써 취약한 계층을 정확히 특정하고, 성과 추론 공격 성공률와 강한 상관관계를 보이며, 기존의 정보 측정 방식을 넘어서 모델 프라이버시 평가에 유용함을 입증한다.

ABSTRACT

Training deep neural networks via federated learning allows clients to share, instead of the original data, only the model trained on their data. Prior work has demonstrated that in practice a client's private information, unrelated to the main learning task, can be discovered from the model's gradients, which compromises the promised privacy protection. However, there is still no formal approach for quantifying the leakage of private information via the shared updated model or gradients. In this work, we analyze property inference attacks and define two metrics based on (i) an adaptation of the empirical $\mathcal{V}$-information, and (ii) a sensitivity analysis using Jacobian matrices allowing us to measure changes in the gradients with respect to latent information. We show the applicability of our proposed metrics in localizing private latent information in a layer-wise manner and in two settings where (i) we have or (ii) we do not have knowledge of the attackers' capabilities. We evaluate the proposed metrics for quantifying information leakage on three real-world datasets using three benchmark models.

연구 동기 및 목표

• 페더레이티드 러닝에서 잠재 정보 泄露를 정량화하는 공식 지표의 부족을 해결하기 위해, 특히 기울기를 통한 泄露에 초점한다.
• 딥 뉴럴 네트워크의 어느 계층이 성과 추론 공격(PIAs)에 가장 취약한지 규명한다.
• 공격에 관련된 '사용 가능한' 정보—즉, 총 정보 흐름이 아닌 공격에 유의미한 정보—를 캡처하는 지표를 개발한다.
• 모델의 프라이버시 평가를 위해 실제 데이터셋과 벤치마크 모델을 사용하여, 공격자의 능력이 알려진 경우와 알려지지 않은 경우 모두에서 지표를 검증한다.
• 기존의 샤논 상호정보량이 역방향 전파에서 프라이버시 위험을 설명하지 못하는 반면, 제안된 지표는 이를 잘 설명함을 보여준다.

제안 방법

• Xu 등(2020)의 $Π$-정보(사용 가능한 정보) 지표를 적응하여 계층별 프라이버시 위험을 측정한다. 이는 공격 모델의 집합이 필요하다.
• 자기 미분 행렬(Jacobian 행렬)을 사용한 기울기 민감도 분석을 제안하여, 잠재 속성이 기울기에 미치는 영향을 정량화한다. 이는 사전에 공격 모델을 알지 못하는 일반 공격자에게 적합하다.
• 딥 네트워크의 각 계층에서 두 지표를 계산하여, 성별, 인종 등과 같은 비밀 정보가 기울기에서 얼마나 노출되는지 정밀하게 특정한다.
• 각 계층에서 기울기를 기반으로 훈련된 성과 추론 공격의 AUC 점수와의 상관관계를 통해 지표의 유효성을 검증한다.
• LFW, CelebA, PubFig 세 가지 실세계 데이터셋과 속성 레이블이 있는 세 가지 벤치마크 모델—변동형 AlexNet, VGG11Net, FCNet—을 사용한다.
• FedSGD를 사용해 페더레이티드 러닝을 시뮬레이션하고, 100라운드 동안 전역 모델 스냅샷을 수집하며, 지표 계산을 위해 계층별 기울기를 추출한다.

실험 결과

연구 질문

• RQ1 페더레이티드 러닝에서 기울기 泄露를 통해 성과 추론 공격에 가장 취약한 딥 뉴럴 네트워크의 계층은 어디인가?
• RQ2 $Π$-정보와 기울기 민감도 지표가 계층별로 사용 가능한 프라이버시 위험을 효과적으로 정량화할 수 있는가?
• RQ3 이 지표들은 역방향 전파에서 프라이버시 泄露를 설명하는 데 있어 샤논 상호정보량보다 얼마나 더 우수한가?
• RQ4 제안된 지표들이 성과 추론 공격의 실제 공격 성공률(AUC)과 어느 정도 상관관계를 가지는가?
• RQ5 다른 모델 아키텍처와 데이터셋 간에 계층의 프라이버시 泄露 취약성은 어떻게 달라지는가?

주요 결과

• $Π$-정보 지표는 깊이가 깊어질수록 프라이버시 위험이 증가함을 정확히 특정하며, 샤논 상호정보량에서 관찰되는 데이터 처리 부등식과는 정반대되는 결과를 보인다.
• 기울기 민감도 분석은 공격자 능력에 관계없이 프라이버시 泄露를 탐지하는 데 강력한 공격 무관 방법을 제공한다.
• 모든 모델과 데이터셋에서 두 지표와 성과 추론 공격의 AUC 점수 사이에 강한 정적 상관관계가 관찰된다.
• 가장 높은 프라이버시 泄露는 항상 마지막 완전 연결 계층에서 발견되며, 특히 VGG11Net과 FCNet와 같이 표현이 더 추상적이고 작업에 특화된 모델에서 두드러진다.
• LFW와 CelebA 데이터셋에서는 후행 계층의 기울기를 사용한 공격의 AUC 점수가 0.85를 초과하여 높은 취약성을 보이며, 이는 높은 $Π$-정보 및 민감도 값과 일치한다.
• 균일한 계층 크기를 가진 FCNet 모델은 아키텍처 유형과 계층 위치—크기 외의 요소—가 프라이버시 위험을 결정한다는 점을 확인한다.