[논문 리뷰] HyPHEN: A Hybrid Packing Method and Optimizations for Homomorphic Encryption-Based Neural Networks

Dong-Hwan Kim, Jaiyoung Park외 3명|arXiv (Cornell University)|2023. 02. 05.

Cryptography and Data Security인용 수 4

한 줄 요약

HyPHEN은 FHE 기반 CNN 추론에서 동작 비용을 크게 줄이기 위해 하이브리드 패킹 방식과 최적화된 컨볼루션 알고리즘(RAConv 및 CAConv)을 제안한다. 다형성 있는 데이터 포맷을 지원하고 비용이 많이 드는 순환 연산과 메모리 팽창을 최소화함으로써, CIFAR-10(ResNet-20)에서 1.4초, 첫 번째로 ImageNet 추론(ResNet-18)을 14.7초에 구현한다.

ABSTRACT

Convolutional neural network (CNN) inference using fully homomorphic encryption (FHE) is a promising private inference (PI) solution due to the capability of FHE that enables offloading the whole computation process to the server while protecting the privacy of sensitive user data. Prior FHE-based CNN (HCNN) work has demonstrated the feasibility of constructing deep neural network architectures such as ResNet using FHE. Despite these advancements, HCNN still faces significant challenges in practicality due to the high computational and memory overhead. To overcome these limitations, we present HyPHEN, a deep HCNN construction that incorporates novel convolution algorithms (RAConv and CAConv), data packing methods (2D gap packing and PRCR scheme), and optimization techniques tailored to HCNN construction. Such enhancements enable HyPHEN to substantially reduce the memory footprint and the number of expensive homomorphic operations, such as ciphertext rotation and bootstrapping. As a result, HyPHEN brings the latency of HCNN CIFAR-10 inference down to a practical level at 1.4 seconds (ResNet-20) and demonstrates HCNN ImageNet inference for the first time at 14.7 seconds (ResNet-18).

연구 동기 및 목표

• 실제 구현에 제약을 주는 FHE 기반 CNN 추론(HCNN)에서의 높은 계산 및 메모리 오버헤드를 해결한다.
• 추론 과정에서 고비용의 동형 연산—특히 암호문 순환과 부스터래핑—의 수를 줄인다.
• 특히 고해상도 이미지와 ResNet-18, ResNet-50와 같은 큰 모델에서 발생하는 평문 가중치 팽창으로 인한 메모리 포트폴리오를 최소화한다.
• 데이터 패킹 및 컨볼루션 알고리즘 최적화를 통해 실세계 데이터셋인 ImageNet과 같은 대용량 데이터에 대해 실용적이고 저지연의 프라이버시 보장 추론을 가능하게 한다.
• 단순한 통신과 완전한 서버 측 계산 이관을 유지하면서 모델 프라이버시를 보존하는 종단 간 프라이버시 보장 추론을 달성한다.

제안 방법

• 비용이 많이 드는 암호문 순환에 의존도를 줄이기 위해 다양한 데이터 포맷에 맞게 조정된 다형성 FHE 컨볼루션 알고리즘인 RAConv와 CAConv를 도입한다.
• 스트라이드 컨볼루션에 의해 발생하는 공간적 갭을 효율적으로 관리하기 위해 2D 갭 패킹을 개발하여 데이터 재구성 과정에서의 순환 오버헤드를 최소화한다.
• 입력 이미지 세그먼트 간 가중치 요소의 중복 복제를 제거하기 위해 PRCR(Packing with Reuse of Ciphertext Rows) 기법을 제안하여 평문 메모리 포트폴리오를 감소시킨다.
• 각 레이어마다 데이터 포맷(예: 밀도, 행 기반, 세그먼트 기반)을 동적으로 선택할 수 있는 하이브리드 데이터 패킹 전략을 사용하여 데이터 재배열 비용을 최소화한다.
• AESPA에서 유도한 저차 다항식 근사법을 활용해 ReLU의 계산 비용을 줄여 활성화 연산에 필요한 고비용 동형 연산을 피한다.
• 입력 이미지를 행 기반 세그먼트로 나누어 데이터 레이아웃과 가중치 재사용을 최적화하고, 가중치 크기를 세그먼트 차원과 일치시켜 메모리 팽창을 줄인다.

실험 결과

연구 질문

• RQ1 하이브리드 패킹 방식이 FHE 기반 CNN 추론 중 필요한 동형 순환 수를 줄일 수 있는가?
• RQ2 다양한 데이터 포맷에 적응할 수 있도록 설계된 다형성 컨볼루션 알고리즘은 데이터 재배열 비용을 최소화하는 데 어떻게 기여할 수 있는가?
• RQ3 가중치 평문 레이아웃과 재사용 전략을 재고함으로써 FHE 기반 CNN에서 메모리 포트폴리오를 얼마나 줄일 수 있는가?
• RQ4 최적화된 패킹, 컨볼루션, 활성화 방법의 조합이 ResNet-18과 같은 대규모 모델이 ImageNet에서 실용적인 추론 시간을 달성하는 데 기여하는가?
• RQ5 데이터 포맷의 일관성과 동적 포맷 전환은 HCNN 추론의 전체 성능에 어떤 영향을 미치는가?

주요 결과

• HyPHEN은 GPU에서 ResNet-20에 대해 CIFAR-10 추론 지연을 1.40초로 줄여 이전 최고 성능 대비 2.15배 향상시켰다.
• ResNet-18을 사용해 ImageNet에서 종단 간 FHE 기반 추론을 처음으로 달성했으며, 소요 시간은 14.69초로 실제 데이터셋에 대한 확장성을 입증했다.
• PRCR 기법은 특히 ResNet-50와 같은 큰 모델에서 유리하게 작용하여 각 가중치 요소의 중복 복제를 제거함으로써 메모리 포트폴리오를 크게 감소시켰다.
• RAConv와 CAConv는 층 간 데이터 포맷 변환(IR)이 필요 없고 채널 합산(RaS) 순환 수를 최소화함으로써 동형 순환 수를 감소시켰다.
• CPU 환경에서 HyPHEN은 ResNet-20와 ResNet-18에 대해 각각 이전 최고 성능 대비 1.83배, 2.15배 낮은 지연을 달성했다.
• 2D 갭 처리를 포함한 하이브리드 패킹 방식은 스트라이드 특징 맵에서 효율적인 컨볼루션을 가능하게 하며 순환 비용을 최소화하고 데이터 국소성을 유지한다.