[논문 리뷰] LEP-CNN: A Lightweight Edge Device Assisted Privacy-preserving CNN Inference Solution for IoT

Yifan Tian, Jiawei Yuan외 2명|arXiv (Cornell University)|2019. 01. 14.

Privacy-Preserving Technologies in Data참고 문헌 16인용 수 11

한 줄 요약

LEP-CNN는 선형성 특성을 활용해 온라인/오프라인 암호화 기반으로 CNN 연산의 99% 이상을 엣지 장치로 오프로딩함으로써 자원이 제한된 IoT 기기에서 경량이고 프라이버시를 보장하는 CNN 추론 솔루션을 제안한다. 이는 CNN 연산의 선형성 특성을 이용해 사전에 복호화 키를 계산함으로써 암호화된 데이터에서 거의 평문 수준의 효율성을 달성하며, 라즈베리 파이 수준의 하드웨어에서 35배 이상의 성능 향상을 이룬다. 또한 99%의 정합성 검출 정확도를 확보한다.

ABSTRACT

Supporting convolutional neural network (CNN) inference on resource-constrained IoT devices in a timely manner has been an outstanding challenge for emerging smart systems. To mitigate the burden on IoT devices, the prevailing solution is to offload the CNN inference task, which is usually composed of billions of operations, to public cloud. However, the "offloading-to-cloud" solution may cause privacy breach while moving sensitive data to cloud. For privacy protection, the research community has resorted to advanced cryptographic primitives and approximation techniques to support CNN inference on encrypted data. Consequently, these attempts cause impractical computational overhead on IoT devices and degrade the performance of CNNs. Moreover, relying on the remote cloud can cause additional network latency and even make the system dysfunction when network connection is off. We proposes an extremely lightweight edge device assisted private CNN inference solution for IoT devices, namely LEP-CNN. The main design of LEP-CNN is based on a novel online/offline encryption scheme. The decryption of LEP-CNN is pre-computed offline via utilizing the linear property of the most time-consuming operations of CNNs. As a result, LEP-CNN allows IoT devices to securely offload over 99% CNN operations, and edge devices to execute CNN inference on encrypted data as efficient as on plaintext. LEP-CNN also provides an integrity check option to help IoT devices detect error results with a successful rate over 99%. Experiments on AlexNet show that LEP-CNN can speed up the CNN inference for more than 35 times for resource constrained IoT devices. A homomorphic encryption based AlexNet using CryptoNets is implemented to compare with LEP-CNN to demonstrate that LEP-CNN has a better performance than homomorphic encryption based privacy preserving neural networks under time-sensitive scenarios.

연구 동기 및 목표

• 자원이 제한된 IoT 기기에서 계산 비용이 큰 CNN 추론을 구현하는 데 도전 과제를 해결한다.
• 공용 클라우드에 민감한 데이터를 오프로딩함으로써 발생하는 프라이버시 위험을 해결한다.
• 기존의 프라이버시 보장형 CNN 솔루션에서 발생하는 히든 암호화로 인한 계산 오버헤드와 지연 시간을 줄인다.
• 가벼운 정합성 검증 메커니즘을 통해 악성 엣지 장치로부터 잘못된 결과를 검출함으로써 결과의 정합성을 확보한다.
• 정확도 손실 없이 실시간으로 즉각적인 추론을 가능하게 하여 시간 민감도가 높은 IoT 애플리케이션을 지원한다.

제안 방법

• 입력과 난수 노이즈를 분리하여 선형 CNN 연산을 분리하는 새로운 온라인/오프라인 암호화 기법을 설계한다.
• 컨볼루션 레이어의 선형성 특성을 활용해 오프라인으로 복호화 키를 사전 계산함으로써 런타임 복호화 비용을 제거한다.
• CNN 연산의 99% 이상을 엣지 장치로 오프로딩하여 암호화된 데이터에서 효율적으로 추론을 수행한다.
• 가벼운 정합성 검증 메커니즘을 통합하여 IoT 기기가 위조된 결과를 99% 이상의 성공률로 탐지할 수 있도록 한다.
• 비선형 활성화 함수를 히든 암호화와 호환되는 선형 형태로 변환하기 위해 근사 기법을 사용한다.
• 저지연 시간 실행에 최적화된 YASHE 기반 암호시스템을 사용하여 기법을 구현한다.

실험 결과

연구 질문

• RQ1 경량형 엣지 지원 암호화 기법이 IoT 기기에서 효율적인 프라이버시 보장형 CNN 추론을 가능하게 할 수 있는가?
• RQ2 보안을 훼손하지 않으면서도 암호화된 CNN 추론에서 복호화 오버헤드를 어떻게 최소화할 수 있는가?
• RQ3 엣지 장치로의 작업 오프로딩이 시간 민감도가 높은 IoT 애플리케이션에서 지연 시간과 에너지 소비를 얼마나 줄일 수 있는가?
• RQ4 프라이버시 보장형 엣지 컴퓨팅 환경에서 CNN 추론의 정합성은 효율적으로 검증할 수 있는가?
• RQ5 실세계 환경에서 LEP-CNN의 성능은 히든 암호화 기반 솔루션인 CryptoNets와 비교해 어떻게 다른가?

주요 결과

• LEP-CNN는 라즈베리 파이 수준의 컴퓨팅 성능을 가진 IoT 기기에서 CNN 추론을 35배 이상 빠르게 수행한다.
• AlexNet 입력에 대해 LEP-CNN의 로컬 암호화 및 복호화 과정은 단 0.3초 내로 완료되며, 히든 암호화 기반 접근 방식은 10시간 이상 소요된다.
• LEP-CNN의 첫 번째 컨볼루션 레이어는 0.0103초가 소요되며, 동일한 작업을 수행하는 CryptoNets는 625.856초가 소요된다.
• LEP-CNN는 히든 암호화 기반 솔루션인 CryptoNets에 비해 종단 간 추론 시간을 99% 이상 단축시킨다.
• 정합성 검증 메커니즘이 악성 엣지 장치에서 유래한 잘못된 결과를 99% 초과의 성공률로 성공적으로 탐지한다.
• 기존의 히든 암호화 기반 방법들과 달리, LEP-CNN는 근사 기법으로 인한 정확도 손실 없이 전체 추론 정확도를 유지한다.