[논문 리뷰] Privacy Aware Offloading of Deep Neural Networks

Sam Leroux, Tim Verbelen외 2명|arXiv (Cornell University)|2018. 05. 30.

Adversarial Robustness in Machine Learning참고 문헌 10인용 수 15

한 줄 요약

이 논문은 입력 이미지를 클라우드 기반 사전 훈련된 분류기로 오프로딩하기 전에 은폐하는 프라이버시 보장 기반 딥러닝 프레임워크를 제안한다. 이는 고도로 경량화되고 훈련 가능한 은폐 네트워크를 사용하여 인간에게 읽을 수 없도록 하면서도 높은 분류 정확도를 유지한다. 이 방법은 별도의 복원기(deobfuscator)를 갖춘 GAN 유사 적으로 양자적 훈련 설정을 사용하여 프라이버시를 보장하며, 은폐된 상태에서도 CIFAR-10에서 90% 이상의 분류 정확도를 달성한다.

ABSTRACT

Deep neural networks require large amounts of resources which makes them hard to use on resource constrained devices such as Internet-of-things devices. Offloading the computations to the cloud can circumvent these constraints but introduces a privacy risk since the operator of the cloud is not necessarily trustworthy. We propose a technique that obfuscates the data before sending it to the remote computation node. The obfuscated data is unintelligible for a human eavesdropper but can still be classified with a high accuracy by a neural network trained on unobfuscated images.

연구 동기 및 목표

• 신뢰할 수 없는 클라우드 운영자가 원시 사용자 데이터에 접근할 수 있는 클라우드 기반 딥 뉴럴 네트워크 추론에서 발생하는 프라이버시 위험을 해결하기 위해.
• 사용자 프라이버시를 훼손하지 않고 계산 비용이 큰 DNN를 클라우드로 오프로딩할 수 있도록 하기 위해.
• 분류 정확도를 유지하면서도 사용자가 인식할 수 없는 입력을 만들 수 있는 경량화되고 훈련 가능한 은폐 메커니즘을 개발하기 위해.
• 훈련 후 분류 모델의 내부 가중치에 접근할 필요 없이도 실용적인 구현이 가능하도록 하기 위해.
• 은폐 네트워크의 이식성(transferability)을 평가하기 위해.

제안 방법

• 아키텍처는 세 개의 딥 뉴럴 네트워크로 구성된다: 사전 훈련된 이미지 분류기, 훈련 가능한 은폐기, 원래 이미지를 복원하기 위한 복원기.
• 은폐기는 사전 훈련된 네트워크에서의 분류 손실을 최소화하면서 동시에 복원 손실을 최대화하도록 훈련되어, 출력이 인간에게 인식 불가능하도록 보장한다.
• 복원기는 은폐된 버전에서 원래 이미지를 복원하는 데 전적으로 전념하여, 프라이버시 검증 메커니즘으로 기능한다.
• 은폐기와 복원기를 공동으로 훈련하기 위해 교차 엔트로피 분류 손실(Lc)과 L2 복원 손실(Lr)의 조합을 사용한다.
• 은폐기는 FLOPs와 파라미터를 최소화하기 위해 딥웨이즈 분리형 컨볼루션을 사용한 모바일넷 기반 아키텍처로 구현된다.
• 훈련 중에 사전 훈련된 분류기의 역전파가 필요하므로, 분류 모델이 진정한 블랙박스로 간주되지 않는다.

실험 결과

연구 질문

• RQ1 분류 정확도를 유지하면서도 인간이 인식할 수 없는 이미지를 만들 수 있는 훈련 가능한 은폐 메커니즘을 설계할 수 있는가?
• RQ2 은폐기는 다양한 사전 훈련된 분류기에서 높은 정확도를 유지하는 데 얼마나 효과적인가?
• RQ3 재훈련 없이도 한 분류기에서 훈련된 은폐기가 다른 분류기로 이식 가능한가?
• RQ4 은폐 과정은 정확한 분류를 위해 충분한 구조적 정보를 유지하면서도 프라이버시 민감 정보를 제거하는가?
• RQ5 복원기는 은폐된 출력에서 원래 이미지를 신뢰성 있게 복원할 수 있는가, 이는 은폐된 데이터가 가역적이지 않음을 확인하는가?

주요 결과

• 제안된 은폐기는 다양한 아키텍처에서 CIFAR-10에서 원래의 93.4%–95.2% 정확도에서 5%p 감소한 89.3%~90.5%의 분류 정확도를 유지한다.
• 은폐기 네트워크는 최소한의 오버헤드를 가지며, 해당 분류 네트워크의 FLOPS의 1.4%~6.7%와 파라미터의 1.4%~5.3%만 소비한다.
• 복원기는 은폐된 출력에서 원래 이미지를 복원하지 못하여, 은폐된 데이터가 가역적이지 않음을 확인한다.
• 은폐기의 이식성은 제한적이며, 다른 분류기로 적용할 경우 정확도가 크게 떨어지지만 무작위 수준까지는 떨어지지 않는다 (예: 미사용 모델에서 30~50%의 정확도).
• ResNet18에서 훈련된 은폐기는 다른 초기화를 가진 두 번째 ResNet18에서 53.8%의 정확도를 달성하여, 다양한 모델 간에 일부 일반화 성능을 보인다.
• 이 방법은 프라이버시와 유틸리티 사이에 성공적으로 균형을 이룬다: 이미지는 인간에게 인식 불가능하게 만들지만, 정확한 분류를 위해 충분한 특징을 유지한다.