[논문 리뷰] Large Scale Private Learning via Low-rank Reparametrization

Dahua Yu, Huishuai Zhang외 3명|arXiv (Cornell University)|2021. 06. 17.

Privacy-Preserving Technologies in Data참고 문헌 62인용 수 14

한 줄 요약

이 논문은 BERT와 같은 대규모 모델에서 메모리 사용량을 줄이고 노이즈의 차원 의존성을 해소함으로써 대규모 모델에서 미분적 개인정보 보호를 위한 경사 하강법을 가능하게 하는 저차원 재구성 방법인 재구성 경사 편향(RGP)을 제안한다. RGP는 ε=8일 때 네 가지 NLP 작업에서 평균 정확도 83.9%를 달성하며 비공개 기준선에 비해 5% 이내로 유지하며, 멤버십 추론 공격을 방지한다.

ABSTRACT

We propose a reparametrization scheme to address the challenges of applying differentially private SGD on large neural networks, which are 1) the huge memory cost of storing individual gradients, 2) the added noise suffering notorious dimensional dependence. Specifically, we reparametrize each weight matrix with two \emph{gradient-carrier} matrices of small dimension and a \emph{residual weight} matrix. We argue that such reparametrization keeps the forward/backward process unchanged while enabling us to compute the projected gradient without computing the gradient itself. To learn with differential privacy, we design \emph{reparametrized gradient perturbation (RGP)} that perturbs the gradients on gradient-carrier matrices and reconstructs an update for the original weight from the noisy gradients. Importantly, we use historical updates to find the gradient-carrier matrices, whose optimality is rigorously justified under linear regression and empirically verified with deep learning tasks. RGP significantly reduces the memory cost and improves the utility. For example, we are the first able to apply differential privacy on the BERT model and achieve an average accuracy of $83.9\%$ on four downstream tasks with $ε=8$, which is within $5\%$ loss compared to the non-private baseline but enjoys much lower privacy leakage risk.

연구 동기 및 목표

• 대규모 딥 네트워크에서 미분적 개인정보 보호 경사 하강법의 높은 메모리 비용과 낮은 유용성 문제를 해결한다.
• 모델 크기가 증가함에 따라 성능이 저하되는 경향이 있는 경사 편향에서의 차원 의존성 노이즈 문제를 극복한다.
• 이전에는 메모리 및 노이즈 제약으로 인해 실현 가능하지 않았던 BERT와 같은 대규모 모델의 프라이버시 보장 학습을 가능하게 한다.
• 모델 동작을 유지하면서도 효율적이고 프라이버시 보장된 경사 계산 및 갱신을 가능하게 하는 재구성 기법을 개발한다.
• 과거 모델 갱신을 활용하여 미분적 개인정보 보장 하에 최적의 경사 운반체를 근사할 수 있음을 입증함으로써, 유용성과 프라이버시를 보장한다.

제안 방법

• 각 가중치 행렬 𝐖을 𝐖 = 𝐋𝐑 + 𝐖̃로 재구성하며, 여기서 𝐋과 𝐑은 저차원 경사 운반체이고 𝐖̃는 잔차 가중치로, 순전파/역전파를 유지한다.
• 𝐋과 𝐑의 기울기들을 사용하여 𝐖의 기울기의 투영을 명시적으로 𝐖의 기울기를 계산하지 않고도 계산함으로써 메모리 절약을 달성한다.
• 기울기 클리핑 및 노이즈 주입을 저차원의 𝐋과 𝐑 행렬에만 적용하여 총 노이즈 강도를 감소시킨다.
• 노이즈가 주입된 𝐋과 𝐑의 기울기로부터 최종 가중치 갱신을 구성함으로써 프라이버시를 보장하면서도 모델 성능을 유지한다.
• 이미 공개된 과거 모델 갱신을 활용하여 𝐋과 𝐑의 주요 특이벡터를 계산함으로써 후처리 프라이버시 보장 이점을 활용한다.
• 선형 회귀 하에서 이론적으로 이 접근의 최적성을 입증하고, 딥 러닝 환경에서의 실험적으로도 검증한다.

실험 결과

연구 질문

• RQ1 저차원 재구성은 미분적 개인정보 보장 경사 하강법에서 개별 기울기 저장에 필요한 메모리 비용을 줄일 수 있는가?
• RQ2 전체 가중치 행렬이 아닌 저차원 운반체에서 기울기를 편향함으로써 노이즈 강도를 감소시키고 대규모 모델에서의 유용성을 향상시킬 수 있는가?
• RQ3 과거 모델 갱신을 사용하여 최적의 경사 운반체를 근사할 수 있는가? 이는 미분적 개인정보 보장 위반 없이 가능한가?
• RQ4 RGP는 BERT와 같은 대규모 모델을 DP 제약 하에서 학습시킬 때 모델의 유용성을 어느 정도 유지하는가?
• RQ5 RGP는 개인 정보 보호 모델에 대한 멤버십 추론 공격을 효과적으로 방지하는가?

주요 결과

• RGP는 BERT 모델에 대한 미분적 개인정보 보장 적용의 첫 성공 사례를 이룩하였으며, ε=8일 때 네 가지 하류 NLP 작업에서 평균 정확도 83.9%를 달성하였다.
• RGP로 학습된 BERT 모델에 대한 멤버십 추론 공격 성공률은 약 50%로 나타나 유의미한 개인정보 泄露가 없음을 시사하며, 비공개 모델의 경우 55–60%의 공격 성공률를 보였다.
• 저차원 재구성만으로도 표준 모델보다 멤버십 추론 성공률가 낮게 나타나, 내재적인 프라이버시 이점이 있음을 시사한다.
• 딥 네트워크의 각 레이어 기울기의 안정적 랭크가 낮다는 것이 경험적으로 확인되었으며, 이는 RGP의 저차원 가정을 뒷받침한다.
• 과거 갱신을 활용하여 주요 기울기 부분공간을 근사하는 것은 선형 회귀에서 이론적으로 타당하며, 딥 러닝 환경에서의 실험적으로도 효과적이다.
• 기존 DP-SGD 대비 총 노이즈 강도를 크게 감소시켜, 개인 정보 보장 학습에서 유명한 차원 의존성 문제를 극복한다.