[논문 리뷰] Private Model Compression via Knowledge Distillation

Ji Wang, Weidong Bao외 4명|arXiv (Cornell University)|2018. 11. 13.

Privacy-Preserving Technologies in Data참고 문헌 22인용 수 20

한 줄 요약

이 논문은 민감한 사용자 데이터를 폭 lộ하지 않고 대규모 교사 모델에서 작고 효율적인 학생 모델을 훈련하기 위해 미분적 비밀보장 지식 전이를 사용하는 프라이버시 보장 모델 압축 프레임워크인 Rona를 제안한다. 적응형 노름 바운딩과 노이즈 추가를 통해 전달된 지식을 동적으로 제어하고, 쿼리 효율적인 샘플 선택 기법을 적용함으로써 Rona는 SVHN에서 최대 20배의 모델 압축과 19배의 속도 향상을 달성하며 정확도 손실은 0.97%에 불과하지만 강력한 프라이버시 보장을 확보한다 (예: (9.83, 10⁻⁶)-미분적 비밀보장).

ABSTRACT

The soaring demand for intelligent mobile applications calls for deploying powerful deep neural networks (DNNs) on mobile devices. However, the outstanding performance of DNNs notoriously relies on increasingly complex models, which in turn is associated with an increase in computational expense far surpassing mobile devices' capacity. What is worse, app service providers need to collect and utilize a large volume of users' data, which contain sensitive information, to build the sophisticated DNN models. Directly deploying these models on public mobile devices presents prohibitive privacy risk. To benefit from the on-device deep learning without the capacity and privacy concerns, we design a private model compression framework RONA. Following the knowledge distillation paradigm, we jointly use hint learning, distillation learning, and self learning to train a compact and fast neural network. The knowledge distilled from the cumbersome model is adaptively bounded and carefully perturbed to enforce differential privacy. We further propose an elegant query sample selection method to reduce the number of queries and control the privacy loss. A series of empirical evaluations as well as the implementation on an Android mobile device show that RONA can not only compress cumbersome models efficiently but also provide a strong privacy guarantee. For example, on SVHN, when a meaningful $(9.83,10^{-6})$-differential privacy is guaranteed, the compact model trained by RONA can obtain 20$ imes$ compression ratio and 19$ imes$ speed-up with merely 0.97% accuracy loss.

연구 동기 및 목표

• 자원이 제한된 모바일 디바이스에 대규모이고 정확한 딥 네URAL 네트워크(DNNs)를 구현하는 동시에 사용자 데이터 프라이버시를 유지하는 이중 과제를 해결한다.
• 기존 지식 전이 방법은 민감한 훈련 데이터를 사용하지만 공식적인 프라이버시 보장을 제공하지 않기 때문에 이러한 한계를 극복한다.
• 교사 모델이나 민감한 사용자 데이터를 공개하지 않고도 공개 데이터를 기반으로 훈련된 작고 효율적인 학생 모델을 사용해 디바이스 내에서 추론을 가능하게 하는 프레임워크를 개발한다.
• 정확한 모델 정확도와 효율성을 유지하면서도, 정밀하게 조절된 노이즈를 주입하여 전달된 지식을 훼손함으로써 (ε, δ)-미분적 비밀보장 보장을 달성한다.

제안 방법

• 공개 훈련 데이터만을 사용하여 대규모 사전 훈련된 교사 모델에서 작은 학생 모델로 지식을 전이하기 위해 지식 전이를 활용한다.
• 훈련 중 기울기의 크기를 동적으로 제어함으로써 훈련 안정성 향상과 수렴 속도 향상을 도모하기 위해 적응형 노름 바운딩을 도입한다.
• 전달된 지식(예: 특징 맵 또는 로짓)에 정밀하게 조절된 노이즈를 주입하여 (ε, δ)-미분적 비밀보장을 확보하기 위해 미분적 비밀보장을 적용한다.
• 교사 모델에 대한 쿼리 수를 줄여 프라이버시 예산 소비를 최소화하기 위해 쿼리 샘플 선택 기법을 설계한다.
• 추가 쿼리나 프라이버시 비용 없이도 학생 모델 성능 향상을 위해 훈련 중에 자기학습(self-learning)을 통합한다.
• 학생 모델 일반화 능력을 향상시키기 위해 힌트 학습(중간층 감독), 전이 학습(출력 소프트 레이블 일치), 자기학습(가짜 레이블링)의 조합을 사용한다.

실험 결과

연구 질문

• RQ1 교사 모델이 민감한 사용자 데이터를 기반으로 훈련된 경우, 공개된 데이터나 모델을 폭로하지 않고도 지식 전이를 프라이버시 보장된 방식으로 수행할 수 있는가?
• RQ2 특징 맵이나 로짓과 같은 전달된 지식에 대해 어떻게 효과적으로 미분적 비밀보장을 적용할 수 있으며, 이를 통해 공식적인 프라이버시 보장을 확보할 수 있는가?
• RQ3 높은 정확도와 낮은 프라이버시 예산 소비를 유지하면서 얼마나 높은 수준의 모델 압축을 달성할 수 있는가?
• RQ4 적응형 쿼리 선택 및 자기학습 기법을 통해 성능 저하 없이 교사 모델에 대한 쿼리 수를 줄일 수 있는가?
• RQ5 특정 데이터 클래스(예: 숫자 6과 9)가 매우 민감하여 훈련에서 제외되는 현실적인 조건에서 이 프레임워크는 어떻게 성능을 발휘하는가?

주요 결과

• SVHN에서 Rona는 20배의 압축 비율과 19배의 속도 향상을 달성하며 정확도 손실은 0.97%에 불과하지만 (9.83, 10⁻⁶)-미분적 비밀보장을 보장한다.
• MNIST에서 Rona는 (7.68, 10⁻⁵)-미분적 비밀보장 하에 98.64%의 정확도를 달성하며, 유사한 프라이버시 조건에서 이전 연구를 능가한다.
• CIFAR-10에서 Rona는 (8.87, 10⁻⁵)-미분적 비밀보장 하에 81.69%의 정확도를 달성하며, 유사한 프라이버시 예산에서 이전 방법이 보고한 73% 정확도를 뛰어넘는다.
• 적응형 노름 바운딩 방법은 훈련 속도를 크게 향상시키고 정확도를 향상시켜, 더 적은 쿼리 에포크 수와 낮은 프라이버시 손실로도 높은 성능을 달성한다.
• 학생 모델이 특정 민감한 클래스(예: MNIST에서 숫자 6과 9)를 한 번도 본 적이 없더라도, Rona는 (ε=29.8, δ=10⁻⁶) 프라이버시 조건 하에서 인식 정확도를 0%에서 53.43%로 향상시킨다.
• 이 프레임워크는 효율적인 디바이스 내 배포를 가능하게 한다: 화웨이 환경 8 기기에서 MNIST에 대해 학생 모델은 교사 모델 대비 11배 빠르게 작동하며 정확도 손실은 0.2%에 불과하다.