[논문 리뷰] HEMET: A Homomorphic-Encryption-Friendly Privacy-Preserving Mobile Neural Network Architecture

Qian Lou, Lei Jiang|arXiv (Cornell University)|2021. 05. 31.

Cryptography and Data Security인용 수 13

한 줄 요약

HEMET은 프라이버시 보장 신경망(PPNN)에서 추론 지연을 줄이고 정확도를 향상시키기 위해 동적 암호화(HE)에 친화적인 모바일 신경망 아키텍처를 제안한다. 탐욕적 탐색 알고리즘을 사용해 모바일 블록을 효율적인 컨볼루션 레이어로 대체하고 계수 병합을 적용해 재스케일링 연산을 줄임으로써, 최신 기술 수준의 PPNN보다 추론 지연을 59.3–61.2% 감소시키고 정확도를 0.4–0.5% 향상시킨다.

ABSTRACT

Recently Homomorphic Encryption (HE) is used to implement Privacy-Preserving Neural Networks (PPNNs) that perform inferences directly on encrypted data without decryption. Prior PPNNs adopt mobile network architectures such as SqueezeNet for smaller computing overhead, but we find naïvely using mobile network architectures for a PPNN does not necessarily achieve shorter inference latency. Despite having less parameters, a mobile network architecture typically introduces more layers and increases the HE multiplicative depth of a PPNN, thereby prolonging its inference latency. In this paper, we propose a extbf{HE}-friendly privacy-preserving extbf{M}obile neural n extbf{ET}work architecture, extbf{HEMET}. Experimental results show that, compared to state-of-the-art (SOTA) PPNNs, HEMET reduces the inference latency by $59.3\%\sim 61.2\%$, and improves the inference accuracy by $0.4 \% \sim 0.5\%$.

연구 동기 및 목표

• 엔드 투 엔드 암호화된 추론을 위해 동적 암호화(HE)를 사용하는 프라이버시 보장 신경망(PPNN)에서 높은 추론 지연 문제를 해결하기 위해.
• 모바일 신경망 아키텍처를 PPNN에 직접 적용할 경우 파라미터 수가 적더라도 승법 깊이가 증가하여 지연이 악화될 수 있음을 규명하기 위해.
• 정확도를 훼손하지 않으면서 HE 연산 횟수와 승법 깊이를 최소화하는 HE에 친화적인 모바일 신경망 아키텍처를 설계하기 위해.
• 지연을 최소화하기 위해 각 레이어 단위로 표준 컨볼루션 레이어 또는 모바일 모듈 중 최적의 레이어 유형을 선택하는 탐욕적 아키텍처 탐색 알고리즘을 개발하기 위해.
• 마스크, 활성화 함수, 배치 정규화 계수를 통합하여 하나의 계수 세트로 병합하는 계수 병합 기법을 도입하여 재스케일링 연산과 지연을 줄이기 위해.

제안 방법

• HE 추론 지연을 최소화하기 위해 각 레이어에서 표준 컨볼루션 레이어인지 모바일 모듈인지 평가하는 탐욕적이고 계층별 아키텍처 탐색 알고리즘을 제안한다.
• 각 레이어의 마스크, 근사 ReLU 계수, 배치 정규화 계수를 하나의 계수 세트로 통합하여 재스케일링 연산을 줄이는 계수 병합 기법을 도입한다.
• 소음 관리와 암호화된 텐서에서의 근사 산술을 지원하기 위해 RNS 분해를 사용하는 CKKS 동적 암호화 체계를 활용한다.
• 상호작용이 없는 PPNN를 가능하게 하기 위해, 완전한 동적 암호화 계산을 가능하게 하기 위해 ReLU 활성화 함수에 다항식 근사(2차)를 적용한다.
• 선택된 모바일 블록을 표준 컨볼루션으로 대체하여 깊이와 지연을 줄이기 위해 SqueezeNet 및 InceptionNet 기반 아키텍처에서 탐색 알고리즘을 평가한다.
• 아키텍처 탐색 이후에 계수 병합을 적용하여 재스케일링 연산 수를 추가로 줄여, HE에서 비용이 많이 드는 연산을 감소시킨다.

실험 결과

연구 질문

• RQ1 모바일 신경망 아키텍처를 PPNN에 난이도 없이 적용해도 파라미터 수가 적더라도 추론 지연이 항상 감소하는가?
• RQ2 탐욕적이고 계층별 아키텍처 탐색 알고리즘이 HE 추론 지연을 최소화하는 데 최적의 레이어 유형(컨볼루션 대비 모바일 모듈)을 식별할 수 있는가?
• RQ3 계수 병합을 통해 HE 기반 PPNN에서 재스케일링 연산 수를 얼마나 줄일 수 있으며, 정확도에 영향을 주지 않는가?
• RQ4 아키텍처 탐색과 계수 병합을 결합했을 때 PPNN에서 얼마나 많은 지연 감소와 정확도 향상을 기대할 수 있는가?
• RQ5 제안된 HEMET 아키텍처는 CIFAR-10 및 MNIST와 같은 표준 벤치마크에서 최신 기술 수준의 PPNN보다 지연과 정확도 면에서 모두 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• HEMET은 SqueezeNet 및 InceptionNet 기반 최신 기술 수준의 PPNN 대비 추론 지연을 59.3–61.2% 감소시켰다.
• HEMET은 계산 비용을 줄임에도 불구하고 기존 PPNN보다 추론 정확도를 0.4–0.5% 향상시켰다.
• SqueezeNet 기반의 Ours-F34 아키텍처는 CIFAR-10에서 43.8초의 추론 지연을 기록하여 원본 SqueezeNet 대비 40.5% 감소시켰다.
• 계수 병합은 Ours-F34에서 재스케일링 연산을 2회 줄였고, Ours-I789에서는 4회 줄여 각각 20% 및 37%의 지연 감소 기여를 하였다.
• 더 많은 모바일 블록을 컨볼루션 레이어로 대체한다고 해서 항상 지연이 감소하는 것은 아니며, 깊이와 효율성 사이에 상충 관계가 있음을 시사한다.
• 최고 성능을 기록한 아키텍처인 InceptionNet 기반의 Ours-I789-Merge는 EVA 컴iles된 InceptionNet 대비 61.2%의 지연 감소와 0.5%의 정확도 향상을 달성했다.