[논문 리뷰] iDLG: Improved Deep Leakage from Gradients

Bo Zhao, Konda Reddy Mopuri외 1명|arXiv (Cornell University)|2020. 01. 08.

Privacy-Preserving Technologies in Data참고 문헌 10인용 수 376

한 줄 요약

iDLG가 공유 그래디언트에서 실제 레이블을 해석적으로 추출하고 이를 사용해 데이터 재구성을 개선하며, MNIST, CIFAR-100, LFW에서 100%의 레이블 추출 정확도를 달성하는 동시에 원래 DLG보다 데이터 충실도에서 우수함.

ABSTRACT

It is widely believed that sharing gradients will not leak private training data in distributed learning systems such as Collaborative Learning and Federated Learning, etc. Recently, Zhu et al. presented an approach which shows the possibility to obtain private training data from the publicly shared gradients. In their Deep Leakage from Gradient (DLG) method, they synthesize the dummy data and corresponding labels with the supervision of shared gradients. However, DLG has difficulty in convergence and discovering the ground-truth labels consistently. In this paper, we find that sharing gradients definitely leaks the ground-truth labels. We propose a simple but reliable approach to extract accurate data from the gradients. Particularly, our approach can certainly extract the ground-truth labels as opposed to DLG, hence we name it Improved DLG (iDLG). Our approach is valid for any differentiable model trained with cross-entropy loss over one-hot labels. We mathematically illustrate how our method can extract ground-truth labels from the gradients and empirically demonstrate the advantages over DLG.

연구 동기 및 목표

• 분산 학습에서 그래디언트 공유의 취약성이 개인 학습 데이터를 노출시킬 수 있음을 제시한다.
• 모델 아키텍처에 관계없이 그래디언트에서 실제 레이블을 식별하는 방법을 도출한다.
• 추출된 레이블을 사용해 그래디언트 일치 재성을 이끌어 데이터 누수를 개선하기 위한 iDLG를 제안한다.

제안 방법

• 원-핫 레이블을 갖는 교차 엔트로피 하에서 출력 그래디언트와 실제 레이블 간의 부호 기반 관계를 도출한다.
• 마지막 층 가중치에 대한 그래디언트가 부호 패턴에 따라 실제 레이블을 드러낸다는 것을 보인다.
• 공유 그래디언트에서 실제 레이블을 추출하기 위한 부호 기반 기준을 사용한다.
• 더미 입력을 초기화하고 더미 그래디언트와 공유 그래디언트 간의 Frobenius 노름 차이를 최소화하도록 최적화한다.
• 추출된 레이블을 가진 사적 데이터를 재구성하기 위해 더미 입력을 경사 하강법으로 업데이트한다.

실험 결과

연구 질문

• RQ1 네트워크 아키텍처와 무관하게 공유 그래디언트로부터 실제 레이블을 신뢰성 있게 추론할 수 있는가?
• RQ2 추출된 레이블을 사용하면 DLG에 비해 데이터 재구성의 충실도와 수렴성이 향상되는가?
• RQ3 다양한 복잡도의 데이터셋(MNIST, CIFAR-100, LFW)에서 iDLG의 성능은 어떠한가?
• RQ4 그래디언트 접근 범위(샘플당 그래디언트)가 누출 효과에 미치는 영향은 무엇인가?

주요 결과

• iDLG는 MNIST, CIFAR-100, LFW 전역에서 실제 레이블 추출 정확도 100%를 달성하는 반면, DLG는 자주 잘못 라벨을 부여한다.
• iDLG는 세 데이터셋 모두에서 데이터 충실도 면에서 DLG를 지속적으로 능가하며, 특히 도전적인 LFW 작업에서 현저한 이점을 보인다.
• 1000회의 시도에서 iDLG는 더 높은 레이블 추출 정확도와 재구성 데이터의 더 나은 충실도(MSE 감소)를 산출한다.
• 제시된 예에서 LFW의 경우 DLG와 비교해 더 적은 반복으로 유사한 충실도에 도달하는 등 수렴 속도가 더 빠르다(예: 90대 200 반복).