[논문 리뷰] HeLayers: A Tile Tensors Framework for Large Neural Networks on Encrypted Data

Ehud Aharoni, Allon Adir외 10명|arXiv (Cornell University)|2020. 11. 03.

Algorithms and Data Compression인용 수 6

한 줄 요약

HeLayers는 대규모 신경망을 위한 동형 암호화(HE) 패킹을 추상화하는 타일 텐서 프레임워크를 도입하여 암호화된 데이터 상에서 효율적인 추론을 가능하게 한다. 데이터 레이아웃 최적화와 일반화된 연산자 시스템을 통해 암호화된 AlexNet에서 5분 이내의 추론을 달성하였으며, 이는 이전의 비상호작용 HE 솔루션보다 수 개의 주기 빠른 속도이다.

ABSTRACT

Privacy-preserving solutions enable companies to offload confidential data to third-party services while fulfilling their government regulations. To accomplish this, they leverage various cryptographic techniques such as Homomorphic Encryption (HE), which allows performing computation on encrypted data. Most HE schemes work in a SIMD fashion, and the data packing method can dramatically affect the running time and memory costs. Finding a packing method that leads to an optimal performant implementation is a hard task. We present a simple and intuitive framework that abstracts the packing decision for the user. We explain its underlying data structures and optimizer, and propose a novel algorithm for performing 2D convolution operations. We used this framework to implement an HE-friendly version of AlexNet, which runs in three minutes, several orders of magnitude faster than other state-of-the-art solutions that only use HE.

연구 동기 및 목표

• 암호화된 데이터 상에서 대규모 신경망을 동형 암호화(HE)로 실행할 때 발생하는 성능 저하 문제를 해결한다.
• 개발자가 저수준 암호화 데이터 레이아웃 선택을 고려할 필요 없이, 복잡한 HE 패킹 결정의 복잡성을 줄이기 위해 이를 추상화한다.
• 비상호작용 HE를 사용하여 AlexNet 및 SqueezeNet과 같은 대규모 모델에 대해 효율적이고 확장 가능한 추론을 가능하게 한다.
• 사용자 설정에 따라 지연 시간, 처리량, 메모리 사용량 간의 트레이드오프를 지원하는 가변적인 타일 텐서 레이아웃을 통해 민첩한 프레임워크를 제공한다.
• 클라이언트가 참여하지 않는 비상호작용 HE만을 사용하여 실용적이고 고성능의 대규모 모델 추론을 구현함을 입증한다.

제안 방법

• 다양한 HE 암호문 슬롯에 맞는 맞춤형 패킹 전략을 가진 다차원 데이터를 표현하기 위해 타일 텐서를 고수준 추상화로 도입한다.
• 모든 타일 텐서 구성에 대해 작동하는 일반적이고 레이아웃에 종속되지 않는 연산자 시스템을 활용하여 재구현 없이도 원활한 텐서 연산을 가능하게 한다.
• 사용자가 지정한 목표(예: 낮은 지연 시간, 높은 처리량, 메모리 효율성)에 따라 최적의 타일 텐서 레이아웃을 선택하기 위해 구성 가능한 최적화 도구를 사용한다.
• CKKS 스타일의 HE 체계에서 SIMD 동형 평가와 효율적인 슬롯 활용을 활용하는 2D 컨볼루션 연산을 위한 새로운 알고리즘을 적용한다.
• 타일 텐서의 배치 차원을 조정함으로써 동적 배치 처리를 지원하여 지연 시간과 처리량 사이의 트레이드오프를 가능하게 한다.
• HE에 적합한 형태로 조정된 im2col 및 행렬 대각화 기법을 활용하여 중복 연산과 로테이션을 최소화한다.

실험 결과

연구 질문

• RQ1 대규모 신경망의 동형 암호화에서 데이터 패킹의 복잡한 작업을 어떻게 추상화하고 자동화할 수 있는가?
• RQ2 비상호작용 HE 추론에서 다양한 텐서 패킹 전략이 성능, 메모리 사용량, 통신 비용에 미치는 영향은 어떠한가?
• RQ3 다양한 HE 구성에서 고성능을 유지하면서도 다양한 신경망 연산을 지원할 수 있는 일반적이고 재사용 가능한 프레임워크를 구축할 수 있는가?
• RQ4 제안된 타일 텐서 프레임워크는 CHET이나 nGraph-HE2와 같은 기존 시스템에 비해 지연 시간, 처리량, 메모리 효율성 측면에서 어떻게 비교되는가?
• RQ5 클라이언트의 참여 없이도 비상호작용 HE를 사용하여 실용적이고 대규모의 신경망 추론을 수행할 수 있는 정도는 어느 정도인가?

주요 결과

• HeLayers는 암호화된 대용량 입력을 가진 AlexNet에 대해 약 5분 내로 종단 간 추론을 달성하였으며, 이는 이전의 비상호작용 HE 솔루션보다 3시간이 넘게 빠른 성능 향상이다.
• 저지연 시간 최적화 시 SqueezeNet-CIFAR 벤치마크에서 CHET 대비 1.24배 빠른 지연 시간을 기록하였으며, 더 큰 배치 크기를 사용할 경우 약 11.5배의 평균 지연 시간 향상을 보였다.
• 배치 크기가 64일 경우 CHET 대비 처리량이 최대 11.5배 향상되어 HE 암호문 슬롯 간의 효과적인 로드 밸런싱이 이루어짐을 입증하였다.
• 타일 텐서 추상화는 표준화된 형태 표기법을 통해 일관된 디버깅과 오류 보고를 가능하게 하여 개발 복잡성을 감소시켰다.
• 최적화 도구는 메모리 사용량과 성능 간 균형을 맞추는 최적의 패킹 구성 설정을 성공적으로 선택하였으며, 난이도 높은 패킹 전략에서 흔히 발생하는 열악한 레이아웃을 피했다.
• 클라이언트가 참여하지 않는 비상호작용 HE만을 사용하여 AlexNet과 같은 대규모 모델에 대한 실용적인 추론을 지원함으로써, 개인정보 보호 규정을 준수하는 실세계 배포에 적합하다.