[논문 리뷰] DarKnight: A Data Privacy Scheme for Training and Inference of Deep Neural Networks

Hanieh Hashemi, Yongqin Wang외 1명|arXiv (Cornell University)|2020. 06. 01.

Adversarial Robustness in Machine Learning참고 문헌 57인용 수 14

한 줄 요약

DarKnight는 Intel SGX 내에서 행렬 마스킹을 통해 입력 데이터를 은폐함으로써 개인정보 보호 기반의 딥 뉴럴 네트워크 학습 및 추론을 가능하게 하는 하이브리드 TEE-GPU 프레임워크를 제안한다. 이는 계산 부담이 큰 선형 연산을 신뢰할 수 없는 GPU로 이관함으로써 성능을 향상시킨다. 정보 이론적 개인정보 보장 기반으로 1메가픽셀당 최대 1비트의 정보 泄露 상한선을 입증하였으며, 순수 TEE 실행 대비 10배 이상의 속도 향상을 달성하면서도 모델 정확도를 유지한다.

ABSTRACT

Protecting the privacy of input data is of growing importance as machine learning methods reach new application domains. In this paper, we provide a unified training and inference framework for large DNNs while protecting input privacy and computation integrity. Our approach called DarKnight uses a novel data blinding strategy using matrix masking to create input obfuscation within a trusted execution environment (TEE). Our rigorous mathematical proof demonstrates that our blinding process provides information-theoretic privacy guarantee by bounding information leakage. The obfuscated data can then be offloaded to any GPU for accelerating linear operations on blinded data. The results from linear operations on blinded data are decoded before performing non-linear operations within the TEE. This cooperative execution allows DarKnight to exploit the computational power of GPUs to perform linear operations while exploiting TEEs to protect input privacy. We implement DarKnight on an Intel SGX TEE augmented with a GPU to evaluate its performance.

연구 동기 및 목표

• 의료, 금융, 자율주행 시스템 등 다양한 분야에서 증가하는 딥 러닝의 데이터 프라이버시 요구에 부응하기 위해.
• 제한된 CPU 연산 능력과 메모리로 인해 전체 DNN를 신뢰할 수 있는 실행 환경(TEE)에서 실행할 경우 발생하는 성능 저하 문제를 해결하기 위해.
• 입력 프라이버시를 유지하면서도 부동소수점 산술을 활용한 안전하고 효율적이며 정확한 딥 뉴럴 네트워크 학습을 가능하게 하기 위해.
• 개인정보 보호 기반 딥 뉴럴 네트워크 프레임워크에서 정보 泄露에 대한 엄밀한 수학적 상한선을 제공하기 위해.
• 신뢰할 수 있는 서버나 모델 정밀도 저하 없이 TEE를 개인정보 보호에, GPU를 성능 향상에 활용하는 하이브리드 실행 모델을 설계하기 위해.

제안 방법

• Intel SGX 에나클에서 덧셈 노이즈를 통한 행렬 마스킹을 사용하여 입력 데이터를 은폐함으로써 정보 이론적 보장 기반으로 입력 프라이버시를 확보한다.
• 마스킹된 입력을 사용하여 신뢰할 수 없는 GPU로 선형 연산(예: 컨볼루션, 행렬 곱셈)을 이관함으로써 계산 중에도 프라이버시를 유지한다.
• GPU 계산 결과를 복호화한 후에만 비선형 연산(ReLU, 맥스풀링)을 SGX 에나클 내에서 수행한다.
• 모델 파라미터와 마스킹 요소를 에나클 내에서 안전하게 관리하는 협업 실행 모델을 적용하며, 복호화에 사용되는 사전 계산된 W·r 항을 활용한다.
• 노이즈 분산과 마스킹 파라미터에 기반해 정보 泄露를 수학적으로 상한선으로 제한하는 엄밀한 증명을 적용하여, 무한한 대안 계산 조건 하에서도 프라이버시를 보장한다.
• 정밀도 저하 없이 전체 정밀도 부동소수점 학습(bfloat16 포함)을 지원하여 표준 DNN 프레임워크와의 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 하이브리드 TEE-GPU 아키텍처는 DNN 학습 및 추론에서 강력한 프라이버시 보장과 높은 성능을 동시에 달성할 수 있는가?
• RQ2 덧셈 마스킹을 사용하는 개인정보 보호 기반 딥 뉴럴 네트워크 시스템에서 정보 泄露를 어떻게 수학적으로 상한선으로 제한할 수 있는가?
• RQ3 정밀도 저하 없는 모델 기반으로 부동소수점 산술을 개인정보 보호 기반 DNN 프레임워크에서 안전하게 지원할 수 있는가?
• RQ4 TEE 기반 시스템에서 입력 프라이버시를 해치지 않으면서 GPU 가속을 얼마나 효과적으로 활용할 수 있는가?
• RQ5 최소한의 성능 오버헤드로 학습과 추론을 모두 지원하면서도 데이터 기밀성을 보장할 수 있는 시스템을 설계할 수 있는가?

주요 결과

• DarKnight는 무한한 대안 계산 조건 하에서도 1메가픽셀당 입력 이미지당 최대 1비트의 정보 泄露 상한선을 입증하였다.
• ImageNet에서 VGG16에 대해 순수 SGX 기반 학습 대비 120배의 속도 향상을 달성하였으며, 순수 TEE 실행 대비 10배 이상의 성능 향상을 보였다.
• 정밀도 저하 없이 전체 정밀도 부동소수점 학습(bfloat16 포함)을 지원하여 모델 정확도를 유지하고 표준 딥 러닝 파이프라인과의 호환성을 확보하였다.
• 선형 연산을 GPU로 이관하고 비선형 연산은 에나클 내에서만 수행함으로써 TEE의 성능 저하 문제를 완화하면서도 강력한 프라이버시 보장을 유지하였다.
• 데이터 병렬화를 통한 분산 학습에서도 확장 가능하며, 분리된 클라우드 아키텍처에서 여러 개의 SGX 에나클이 별도의 GPU를 위해 입력을 독립적으로 마스킹할 수 있다.
• DarKnight는 이전 연구인 Slalom과 달리 W·r 항의 사전 계산 및 저장이 필요 없어지며, 동적 가중치 업데이트로 인해 학습 중에는 이 작업이 비현실적이므로 이를 제거함으로써 성능을 향상시켰다.