[논문 리뷰] Towards Characterizing and Limiting Information Exposure in DNN Layers

Fan Mo, Ali Shahin Shamsabadi외 3명|arXiv (Cornell University)|2019. 07. 13.

Adversarial Robustness in Machine Learning참고 문헌 22인용 수 8

한 줄 요약

이 논문은 일반화 오차를 메트릭으로 사용하여 사전 훈련된 딥 네ural 네트워크(DNN)의 개별 레이어에서 민감한 정보 노출을 측정하고 제한하는 프레임워크를 제안한다. 후행 레이어가 훈련 데이터 정보를 더 많이 폭로한다는 것을 발견했으며, 이러한 레이어를 신뢰할 수 있는 실행 환경(TEE) 내에서 보호할 경우 이로 인한 계산 오버헤드는 최소한이어서 이는 이식형 DNN에 대한 실현 가능한 개인정보 보호 솔루션이다.

ABSTRACT

Pre-trained Deep Neural Network (DNN) models are increasingly used in smartphones and other user devices to enable prediction services, leading to potential disclosures of (sensitive) information from training data captured inside these models. Based on the concept of generalization error, we propose a framework to measure the amount of sensitive information memorized in each layer of a DNN. Our results show that, when considered individually, the last layers encode a larger amount of information from the training data compared to the first layers. We find that, while the neuron of convolutional layers can expose more (sensitive) information than that of fully connected layers, the same DNN architecture trained with different datasets has similar exposure per layer. We evaluate an architecture to protect the most sensitive layers within the memory limits of Trusted Execution Environment (TEE) against potential white-box membership inference attacks without the significant computational overhead.

연구 동기 및 목표

• 훈련 데이터의 민감한 정보가 개별 DNN 레이어에 얼마나 기억되어 있는지 정량화하는 것.
• 정보 노출 기반으로 멤버십 인식 공격에 가장 취약한 레이어를 식별하는 것.
• 자원 제약이 있는 신뢰할 수 있는 실행 환경(TEE)을 사용하여 가장 민감한 DNN 레이어를 보호하는 것의 실현 가능성을 평가하는 것.
• 이식형 모바일 디바이스에서 핵심 DNN 레이어를 TEE 내에 배포할 경우 성능 오버헤드를 평가하는 것.

제안 방법

• 프레임워크는 일반화 오차—각 레이어에 대해 훈련 데이터(S)와 비민감한 테스트 데이터(T)의 예측 정확도 차이—를 통해 민감한 정보 노출을 측정한다.
• 노출 위험을 근사하기 위해, 개별 레이어를 S에 대해 피니팅하고 X(S ∪ T)에 대해 피니팅하여 최대 및 최소 일반화 오차를 계산한다.
• 멤버십 인식 공격의 위험을 고립하고 평가하기 위해, 모델이 데이터 포인트가 훈련 세트에 포함되었는지 여부를 얼마나 잘 구분하는지 측정한다.
• ARM의 TrustZone를 사용하여 TEE 기반 보호 체계를 구현하며, 가장 민감한(마지막) 레이어는 TEE 내에서 안전하게 실행하고, 이전 레이어는 일반 환경에서 실행한다.
• 실험은 라즈베리 파이 3에서 VGG-7을 MNIST, 패션-MNIST, CIFAR-10에 대해 피니팅하고, Darknet과 OP-TEE를 사용하여 메모리, 실행 시간, 전력 소모 오버헤드를 평가한다.
• 비용 영향을 평가하기 위해, 훈련 가능한(합성곱, 완전 연결) 및 비훈련 가능한(드롭아웃, 맥스풀링) 레이어를 포함한 레이어 단위로 TEE 내에 배포하는 방식을 평가한다.

실험 결과

연구 질문

• RQ1 DNN의 어떤 레이어가 훈련 데이터의 민감한 정보를 가장 취약하게 폭로하는가?
• RQ2 DNN의 레이어 간 일반화 오차는 어떻게 변화하는가? 그리고 이는 정보 노출 위험을 정량화하는 데 사용될 수 있는가?
• RQ3 이식형 디바이스에서 가장 민감한 DNN 레이어를 TEE 내에서 보호할 경우 메모리, 실행 시간, 전력 소모에 크게 영향을 미치는가?
• RQ4 전체적으로 훈련 가능한 레이어가 이어지는 비훈련 가능한 레이어(예: 드롭아웃, 맥스풀링)가 TEE에 포함될 경우 TEE 배포 비용은 어떻게 영향을 받는가?

주요 결과

• DNN의 마지막 레이어는 앞선 레이어보다 훨씬 더 많은 훈련 데이터의 민감한 정보를 폭로하며, 이는 더 높은 일반화 오차로 나타난다.
• 각 레이어의 정보 노출 위험은 훈련 중 사용된 데이터셋과 무관하며, 이는 다양한 데이터 분포 간 일관된 레이어 수준의 취약성 패턴을 시사한다.
• TEE 내에서 마지막 레이어를 배포할 경우, 기준값 대비 실행 시간이 MNIST 기준 1.94% 증가, CIFAR-10 기준 1.62% 증가에 그치며, 메모리 오버헤드도 최소한(각각 2.43% 및 2.19%)이다.
• 전력 소모는 거의 영향을 받지 않으며, MNIST의 F-통계치는 1.49(p=0.170), CIFAR-10은 1.61(p=0.132)로 유의미한 증가가 없음을 나타낸다.
• 비훈련 가능한 레이어(예: 드롭아웃, 맥스풀링)는 앞서 오는 훈련 가능한 레이어도 TEE 내로 복사해야 하므로 TEE에 배포할 경우 오버헤드가 증가한다.
• 완전 연결 및 합성곱 레이어를 TEE 내에서 보호할 경우 비훈련 가능한 레이어를 보호하는 것보다 오버헤드가 낮아, 보다 안전한 배포에 적합한 후보로 간주된다.