[논문 리뷰] AsymML: An Asymmetric Decomposition Framework for Privacy-Preserving DNN Training and Inference

Yue Niu, Ramy E. Ali외 1명|arXiv (Cornell University)|2021. 10. 04.

Privacy-Preserving Technologies in Data참고 문헌 25인용 수 4

한 줄 요약

AsymML는 딥 뉴럴 네트워크 모델을 신뢰할 수 있는(개인정보 민감성 있는) 부분과 신뢰할 수 없는(계산량이 큰) 부분으로 비대칭적으로 분해하는 프레임워크를 제안한다. 이로써 신뢰할 수 있는 실행 환경(TEEs)에 첫 번째 부분을, 신뢰할 수 없는 GPU에 두 번째 부분을 이관함으로써, TEE만을 사용할 경우에 비해 추론 속도가 11.2배 빨라지고 학습 속도가 7.6배 빨라진다. 이는 특성 내의 저랭크 특성들을 활용함으로써 개인정보 보호를 유지하면서도 성능을 크게 향상시킨다.

ABSTRACT

Leveraging parallel hardware (e.g. GPUs) to conduct deep neural network (DNN) training/inference, though significantly speeds up the computations, raises several data privacy concerns. Trusted execution environments (TEEs) have emerged as a promising solution to enable privacy-preserving inference and training. TEEs, however, have limited memory and computation resources which renders it not comparable to untrusted parallel hardware in performance. To mitigate the trade-off between privacy and computing performance, we propose an asymmetric model decomposition framework, AsymML, to (1) accelerate training/inference using parallel hardware; and (2) preserve privacy using TEEs. By exploiting the low-rank characteristics in data and intermediate features, AsymML asymmetrically splits a DNN model into trusted and untrusted parts: the trusted part features privacy-sensitive data but incurs small compute/memory costs; while the untrusted part is computationally-intensive but not privacy-sensitive. Computing performance and privacy are guaranteed by respectively delegating the trusted and untrusted part to TEEs and GPUs. Furthermore, we present a theoretical rank bound analysis showing that low-rank characteristics are still preserved in intermediate features, which guarantees efficiency of AsymML. Extensive evaluations on DNN models shows that AsymML delivers $11.2 imes$ speedup in inference, $7.6 imes$ in training compared to the TEE-only executions.

연구 동기 및 목표

• 신뢰할 수 있는 실행 환경(TEEs)에만 의존할 경우, 제한된 메모리와 계산 자원으로 인해 개인정보 보존 DNN 학습 및 추론에서 발생하는 성능 저하 문제를 해결한다.
• DNN 모델을 신뢰할 수 있는 부분과 신뢰할 수 없는 부분으로 비대칭적으로 분할하여, 개인정보 보호와 계산 효율성 사이의 상충 관계를 극복한다.
• 입력 데이터와 중간 특성 맵 내의 저랭크 특성을 활용하여, 신뢰할 수 있는 구성 요소의 크기와 계산 비용을 최소화함으로써 정확도를 유지한다.
• 신뢰할 수 없는 병렬 하드웨어(예: GPU)에 위탁된 비신뢰성 있는 계산량이 큰 부분을 처리함으로써, TEE를 통해 데이터 개인정보 보호를 유지하면서도 고성능 DNN 추론과 학습을 가능하게 한다.
• 이론적으로도 실험적으로도 중간 특성에서 저랭크 특성이 유지됨을 입증함으로써, 효율적이고 안전한 모델 분해의 타당성을 입증한다.

제안 방법

• DNN를 두 부분으로 비대칭적으로 분해한다: 신뢰할 수 있는 구성 요소는 TEE에 저장되고 실행되며, 신뢰할 수 없는 구성 요소는 신뢰할 수 없는 병렬 하드웨어(예: GPU)에서 실행된다.
• 입력 데이터와 중간 특성 맵 내의 저랭크 특성을 활용하여, 신뢰할 수 있는 구성 요소의 크기와 계산 비용을 최소화한다.
• 분해 과정을 설계함으로써 개인정보 민감성 있는 가중치와 활성화 값이 TEE에만 국한되도록 하며, 대부분의 계산은 비신뢰성 하드웨어로 이관된다.
• 이론적 랭크 경계 분석을 적용하여, 딥 네트워크 내 중간 특성이 저랭크 구조를 유지함을 증명함으로써, 분해의 실현 가능성과 효율성을 보장한다.
• TEE와 비신뢰성 하드웨어 간의 계산을 동기화하는 학습 및 추론 파이프라인을 설계하여 통신 오버헤드를 최소화하고 모델 정확도를 유지한다.
• 하이브리드 실행 모델을 사용하여, 신뢰할 수 있는 부분은 개인정보 치명적인 작업(예: 민감한 가중치 업데이트)을 수행하고, 비신뢰할 수 있는 부분은 대규모 행렬 연산을 가속화한다.

실험 결과

연구 질문

• RQ1 입력 데이터와 중간 특성 내의 저랭크 특성을 활용하여 개인정보 보존 DNN를 위한 효율적이고 안전한 모델 분해를 가능하게 할 수 있는가?
• RQ2 비신뢰할 수 있는 GPU에 계산량이 큰 부분을 이관함으로써, 개인정보 민감성 있는 구성 요소는 TEE에 유지하면서 성능을 얼마나 향상시킬 수 있는가?
• RQ3 다수의 레이어를 거친 후에도 중간 특성의 저랭크 구조가 유지되는가? 이는 정확도 손실 없이 효과적인 분해를 가능하게 하는가?
• RQ4 딥 네트워크 내 중간 특성의 랭크에 대한 이론적 경계는 무엇이며, 이는 효율적인 비대칭 분해 프레임워크 설계에 어떻게 기여하는가?
• RQ5 AsymML의 성능 향상은 추론 및 학습 속도 측면에서 TEE만을 사용하는 경우와 비교해 어떻게 나타나는가?

주요 결과

• AsymML는 비신뢰할 수 있는 GPU에 대부분의 계산을 이관함으로써, TEE만을 사용할 경우에 비해 DNN 추론 속도를 11.2배 빠르게 한다.
• AsymML는 TEE만을 사용할 경우에 비해 DNN 학습 속도를 7.6배 빠르게 하여, 개인정보 보호를 훼손하지 않으면서도 성능을 크게 향상시킨다.
• 이론적 분석을 통해 중간 특성 내 저랭크 특성이 유지됨을 확인하여, 비대칭 분해 접근법의 효율성을 정당화한다.
• AsymML의 신뢰할 수 있는 구성 요소는 최소한의 계산 및 메모리 오버헤드를 유발하여, 제한된 자원을 가진 TEE 내에서 실행 가능한 것으로 입증된다.
• DNN 모델에 대한 실험적 평가 결과, AsymML는 개인정보 민감 작업에서 실행 시간을 극적으로 줄이면서도 높은 모델 정확도를 유지함을 입증한다.
• 신뢰할 수 있는 운영을 TEE에 고립시키고 비신뢰할 수 있는 운영을 비신뢰할 수 있는 하드웨어에서 가속화함으로써, 개인정보 보호와 성능 문제를 효과적으로 분리한다.