[논문 리뷰] Differentially Private Deep Learning with Direct Feedback Alignment

Jae Wook Lee, Daniel Kifer|arXiv (Cornell University)|2020. 10. 08.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 5

한 줄 요약

이 논문은 백프로파게이션의 생물학적으로 영감을 받은 대체 기법인 직접 피드백 정렬(Direct Feedback Alignment, DFA)을 사용하는 최초의 비차별적 훈련 방법을 제안한다. 전방전파 이후 활성화 함수와 오차 신호를 클리핑하고, 고정된 오차 전송 행렬을 사용하며, 업데이트 방향에 노이즈를 추가함으로써 DP-DFA는 MNIST, 패션-MNIST, CIFAR-10 데이터셋에서 완전히 연결된 네트워크와 컨볼루션 네트워크 전반에 걸쳐 기존의 비차별적 확률적 경사하강법(DP-SGD)보다 10–20% 높은 정확도를 달성한다. 하이브리드 DFA/SGD 접근 방식은 추가적인 성능 향상을 이끌어낸다.

ABSTRACT

Standard methods for differentially private training of deep neural networks replace back-propagated mini-batch gradients with biased and noisy approximations to the gradient. These modifications to training often result in a privacy-preserving model that is significantly less accurate than its non-private counterpart. We hypothesize that alternative training algorithms may be more amenable to differential privacy. Specifically, we examine the suitability of direct feedback alignment (DFA). We propose the first differentially private method for training deep neural networks with DFA and show that it achieves significant gains in accuracy (often by 10-20%) compared to backprop-based differentially private training on a variety of architectures (fully connected, convolutional) and datasets.

연구 동기 및 목표

• 표준 SGD 기반 방법에서 발생하는 편향되고 노이즈가 많은 기울기로 인해 비차별적 딥러닝에서 심각한 정확도 저하 문제를 해결하기 위해.
• 백프로파게이션과는 대조적으로 생물학적으로 영감을 받은 훈련 알고리즘인 직접 피드백 정렬(DFA)이 백프로파게이션보다 비차별성에 더 적합한가를 탐구하기 위해.
• 개별 예측 기울기 클리핑을 피하고 기울기 편향을 감소시키는 것을 목표로, DFA 기반의 새로운 비차별적 훈련 알고리즘을 개발하고 평가하기 위해.
• 다양한 아키텍처와 데이터셋에서 DP-DFA의 성능을 비차별적 확률적 경사하강법과 하이브리드 DFA/SGD 접근 방식과 비교하기 위해.
• 비차별적 모델과 비차별적 모델 간의 정확도 격차를 줄일 수 있음을 보여주기 위해, DFA 기반 훈련이 개인정보 보호 딥러닝에서 성능을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 백프로파게이션의 가중치 유사성에 의존하지 않고, 고정된 랜덤 행렬을 통해 오차 신호를 전파하는 직접 피드백 정렬(DFA)을 사용하는 비차별적 훈련 알고리즘을 제안한다.
• 감도 제어를 위해, 전방전파 이후에 활성화 함수와 오차 신호에 기울기 클리핑을 적용한다.
• 가중치 전송 문제를 피하기 위해 고정된 랜덤 오차 전송 행렬을 사용하여 오차 피드백을 계산한다.
• Renyi 비차별적 프라이버시를 보장하기 위해 업데이트 방향에 평균이 0인 가우시안 노이즈를 추가하며, 노이즈 스케일을 프라이버시 예산에 맞게 조정한다.
• 정밀한 에프실론-델타 프라이버시 계량을 가능하게 하기 위해 순간 회계 계산기(moment accountant)를 사용하여 시간에 따른 프라이버시 손실을 추적한다.
• 비차별적 하이브리드 접근 방식을 영감으로 삼아, 하층은 표준 SGD, 상층은 DFA를 사용하는 하이브리드 훈련 전략을 구현한다.

실험 결과

연구 질문

• RQ1 직접 피드백 정렬(DFA)은 증명 가능 프라이버시 보장을 갖는 비차별적 딥러닝에 적합하게 조정될 수 있는가?
• RQ2 표준 비차별적 확률적 경사하강법과 비교해 DP-DFA는 기울기 편향을 줄여 정확도 향상에 기여하는가?
• RQ3 다양한 네트워크 아키텍처와 데이터셋에서 DP-DFA의 성능은 비차별적 확률적 경사하강법과 비교해 어떻게 되는가?
• RQ4 하이브리드 DFA/SGD 훈련 전략은 개인정보 보호 딥러닝에서 정확도 향상에 기여하는가?
• RQ5 DP-DFA에서 전방전파 이후 클리핑과 고정된 오차 행렬을 사용함으로써 프라이버시는 유지되면서도 훈련 안정성과 정확도가 향상되는가?

주요 결과

• 완전히 연결된 네트워크에서, DP-DFA는 패션-MNIST와 CIFAR-10에서 비차별적 확률적 경사하강법보다 10–20% 높은 테스트 정확도를 기록한다. 이는 높은 프라이버시 예산 조건에서도 동일하게 성립한다.
• 패션-MNIST에서, σ=0.01로 설정한 DP-DFA는 200 에포크 후 85.2%의 테스트 정확도를 기록했으며(ε≈9.49, δ=10⁻⁵), 동일한 프라이버시 예산 조건에서 DP-SGD를 능가했다.
• CIFAR-10에서 하이브리드 DFA/SGD 접근 방식은 σ=0.03로 설정했을 때 62.1%의 테스트 정확도를 기록했으며(ε≈2.61, δ=10⁻⁵), 순수 DP-SGD와 순수 DP-DFA 모두를 뛰어넘었다.
• 완전히 연결된 네트워크에서 DP-DFA는 DP-SGD보다 더 적은 훈련 에포크 수로도 높은 정확도에 도달했으며, 이는 더 빠른 수렴 속도와 더 높은 샘플 효율성을 의미한다.
• 유사한 설정에서 DP-DFA는 DP-SGD보다 프라이버시 예산(ε)이 시간이 지남에 따라 더 느리게 증가하는 경향을 보였으며, 이는 더 유리한 프라이버시-정확도 트레이드오프를 의미한다.
• DFA 레이어에서 tanh와 sigmoid 활성화 함수를 사용할 경우 ReLU보다 성능이 향상되었으며, 이는 비차별적 환경에서 ReLU가 DFA에 비해 최적화되지 않았음을 시사한다.