[논문 리뷰] Inverting Gradients -- How easy is it to break privacy in federated learning?

Jonas Geiping, Hartmut Bauermeister외 2명|arXiv (Cornell University)|2020. 03. 31.

Adversarial Robustness in Machine Learning인용 수 389

한 줄 요약

본 논문은 연합 학습에서 입력 데이터가 그라디언트 정보로 재구성될 수 있음을 보여주며, 현대의 심층 아키텍처와 여러 이미지나 에폭에 걸친 그라디언트 평균화 후에도 가능하다는 것을 입증한다.

ABSTRACT

The idea of federated learning is to collaboratively train a neural network on a server. Each user receives the current weights of the network and in turns sends parameter updates (gradients) based on local data. This protocol has been designed not only to train neural networks data-efficiently, but also to provide privacy benefits for users, as their input data remains on device and only parameter gradients are shared. But how secure is sharing parameter gradients? Previous attacks have provided a false sense of security, by succeeding only in contrived settings - even for a single image. However, by exploiting a magnitude-invariant loss along with optimization strategies based on adversarial attacks, we show that is is actually possible to faithfully reconstruct images at high resolution from the knowledge of their parameter gradients, and demonstrate that such a break of privacy is possible even for trained deep networks. We analyze the effects of architecture as well as parameters on the difficulty of reconstructing an input image and prove that any input to a fully connected layer can be reconstructed analytically independent of the remaining architecture. Finally we discuss settings encountered in practice and show that even averaging gradients over several iterations or several images does not protect the user's privacy in federated learning applications in computer vision.

연구 동기 및 목표

• 그라디언트만 공유되는 연합 학습에서의 프라이버시 위험을 동기화하고 형식화한다.
• 그라디언트에 훈련된 심층 네트워크를 포함한 개인 입력에 대한 복구 가능한 정보를 포함하고 있음을 시연한다.
• 그라디언트로부터 입력을 복원하기 위한 분석적 및 최적화 기반 방법을 개발한다.
• 네트워크 아키텍처, 학습 상태, 그리고 그라디언트 평균화가 재구성 리스크에 어떤 영향을 미치는지 평가한다.
• 프라이버시를 보존하는 학습에 대한 실용적 시사점과 한계를 논의한다.

제안 방법

• 매개변수 그라디언트의 정보 내용을 이론적으로 분석하고, 완전 연결 계층의 입력에 대한 해석적 재구성 가능성을 보인다.
• 이미지 Priors(Total Variation)와 코사인 유사도 기반의 목표 함수를 제안하고 Adam으로 최적화하여 그라디언트로부터 입력을 재구성한다.
• 제안된 코사인 기반 공격을 이전의 유클리디안 거리 기반 재구성(LBFGS)과 아키텍처 및 학습 상태에 따라 비교한다.
• 얕은 네트워크/미훈련 모델과 학습된 심층 신경망(예: ResNet 변종) 및 ImageNet 규모 데이터에서 단일 이미지 재구성을 실험적으로 평가한다.
• 연합 평균화 및 다중 이미지 설정으로 분석을 확장하고, 로컬 에폭, 배치 크기, 여러 이미지에 걸친 그라디언트 평균화를 포함한다.
• 완화책과 차등 프라이버시 또는 안전한 집계를 필요로 하는지 논의한다.

실험 결과

연구 질문

• RQ1 깊은 네트워크를 포함한 일반적인 연합 학습 설정에서 그라디언트로부터 입력을 고유하게 재구성할 수 있는가?
• RQ2 네트워크 아키텍처, 학습 상태(훈련됨 대 미훈련), 및 계층 유형이 그라디언트 기반 재구성의 난이도에 어떤 영향을 미치는가?
• RQ3 다중 이미지 또는 여러 로컬 에폭에 걸친 그라디언트 평균화가 프라이버시를 보호하는가?
• RQ4 현실적인 연합 평균화 시나리오(B, E, n 등)에서 입력 복구에 대한 실질적 한계는 무엇인가?
• RQ5 그라디언트 누출을 완화하는 건축적 또는 학습 기반의 방어책이 있는가?

주요 결과

• 입력 데이터는 훈련된 심층 네트워크에 대해서도 얕은 모델이나 미훈련 모델에 국한되지 않고 재구성될 수 있다.
• 비제로-그라디언트 조건하에서 다른 아키텍처 세부와 무관하게 완전 연결 계층의 입력에 대한 해석적 재구성이 가능하다.
• 이미지 Priors를 활용한 코사인 유사도 기반의 재구성 목표가 재구성 가능한 이미지를 얻어내며, 특히 학습된 네트워크에서 유클리드 손실 LBFGS 방법이 실패하는 경우에도 사람 눈에 인식 가능한 재구성을 제공한다.
• 다중 이미지 또는 여러 로컬 에폭에 걸친 그라디언트 평균화가 개인 정보 누출을 완전히 방지하지는 않으며, 실제로도 일부 이미지는 재구성 가능하게 남아 있다.
• 네트워크의 너비나 깊이를 늘리는 것이 재구성 품질에 영향을 미칠 수 있지만 본질적으로 누출을 방지하지는 않는다; 더 넓은 네트워크는 최적화를 더 많은 재시작이 필요할 수 있다.