[논문 리뷰] Converting Transformers to Polynomial Form for Secure Inference Over Homomorphic Encryption

Itamar Zimerman, Moran Baruch외 4명|arXiv (Cornell University)|2023. 11. 15.

Cryptography and Data Security인용 수 5

한 줄 요약

이 논문은 동형 암호화(HE)와 호환되는 최초의 다항형 트랜스포머 모델을 소개한다. 이는 데이터나 모델 가중치를 폭 lộ하지 않고도 안전한 추론을 가능하게 한다. Softmax 및 LayerNorm과 같은 비다항 연산을 다항식 근사치로 대체함으로써, 특히 스케일드-σ 어텐션 메커니즘과 배치정규화 기반 정규화를 통해 성능을 확보하였다. 이는 WikiText-103(59.1% 정확도) 및 CIFAR-100/Tiny-ImageNet에서 경쟁 가능한 성능을 달성하였으며, 표준 모델에 비해 최소한의 성능 격차를 유지하면서도 첫 번째로 실현 가능한 HE 기반 트랜스포머 추론을 입증하였다.

ABSTRACT

Designing privacy-preserving deep learning models is a major challenge within the deep learning community. Homomorphic Encryption (HE) has emerged as one of the most promising approaches in this realm, enabling the decoupling of knowledge between the model owner and the data owner. Despite extensive research and application of this technology, primarily in convolutional neural networks, incorporating HE into transformer models has been challenging because of the difficulties in converting these models into a polynomial form. We break new ground by introducing the first polynomial transformer, providing the first demonstration of secure inference over HE with transformers. This includes a transformer architecture tailored for HE, alongside a novel method for converting operators to their polynomial equivalent. This innovation enables us to perform secure inference on LMs with WikiText-103. It also allows us to perform image classification with CIFAR-100 and Tiny-ImageNet. Our models yield results comparable to traditional methods, bridging the performance gap with transformers of similar scale and underscoring the viability of HE for state-of-the-art applications. Finally, we assess the stability of our models and conduct a series of ablations to quantify the contribution of each model component.

연구 동기 및 목표

• 트랜스포머 모델에 대해 이전에는 Softmax 및 LayerNorm과 같은 비다항 연산으로 인해 불가능했던 동형 암호화(HE) 기반 추론을 가능하게 하기 위해.
• HE에 적합한 아키텍처 대체 기법을 개발하여, HE 보호 트랜스포머와 비암호화된 모델 간의 성능 격차를 줄이기 위해.
• 언어 모델링 및 이미지 분류 작업 모두에 대해 전체 트랜스포머 모델을 HE 하에서 배포할 수 있는 가능성을 입증하기 위해.
• 주의 및 정규화 레이어의 다항식 변환을 위한 안정적이고 확장 가능한 프레임워크를 제공하여, 개인정보 보호 기반 딥 러닝의 광범위한 도입을 가능하게 하기 위해.

제안 방법

• Softmax를 σ 함수를 사용한 다항식 근사치로 대체하는 스케일드-σ 어텐션 메커니즘을 제안하여, HE 호환 계산을 가능하게 한다.
• 다중 헤드 어텐션 및 MLP 하위층에서 LayerNorm을 BatchNorm으로 대체하여 다항식 표현과의 호환성을 확보한다.
• 두 단계로 나누어 훈련하는 절차를 도입: 먼저 표준 트랜스포머로 사전 훈련한 후, 성능 유지를 위해 다항 활성화 함수와 BatchNorm을 사용해 미세조정한다.
• 길이 스케일링과 어텐션 헤드 전역에 걸친 2D 배치정규화를 적용하여 다항식 트랜스포머 변종의 훈련 안정성과 정확도를 향상시킨다.
• 128비트 보안, 2^15 계수, 12번의 곱셈 깊이, 42비트 소수 정밀도를 설정한 HE-SDK(HElayers v1.52)와 HEaaN 백엔드를 사용한다.
• CPU-GPU 하이브리드 아키텍처(AMD EPYC 7763 + NVIDIA A100)를 활용해 HE 추론 속도를 가속화하여, 6층의 BERT 유사 모델 기준 1회 추론에 305초가 소요됨을 확보하였다.

실험 결과

연구 질문

• RQ1 트랜스포머가 효과적으로 다항식 형태로 변환되어 동형 암호화 하에서 안전한 추론이 가능하게 할 수 있는가?
• RQ2 Softmax 및 LayerNorm과 같은 비다항 연산이 성능 저하 없이 다항식 함수로 근사화될 수 있는가?
• RQ3 HE 제약 조건 하에서 다항식 트랜스포머의 훈련 및 추론 시 안정성을 확보하기 위해 필요한 아키텍처 수정은 무엇인가?
• RQ4 다항식 트랜스포머가 HE 조건 하에서 NLP 및 비전 벤치마크에서 표준 트랜스포머의 성능을 어느 정도 따라올 수 있는가?
• RQ5 각 구성 요소(예: BatchNorm, 길이 스케일링)가 HE 기반 트랜스포머 모델의 안정성과 정확도에 미치는 영향은 어떠한가?

주요 결과

• 제안된 다항식 트랜스포머는 모든 안정화 기법을 적용한 스케일드-σ 어텐션 메커니즘을 사용하여 WikiText-103에서 59.1%의 정확도를 달성하였으며, 원본 Swin Transformer의 59.4%에 근접하였다.
• Tiny-ImageNet에서 성능이 가장 뛰어난 다항식 ViT 변종(B+QK+A+S)은 스케일드-σ 어텐션을 사용해 59.1%의 정확도를 기록하였으며, 원본 Swin 모델과 동일한 성능을 달성하였다.
• 어텐션 헤드 전역에 걸쳐 2D 배치정규화를 적용한 경우(예: B+QK), 정확도가 GELU 기반 39.0%에서 49.8%로, ReLU 기반 38.4%에서 50.1%로 향상되어 안정성 확보에 핵심적인 역할을 함을 입증하였다.
• 길이 스케일링(S)을 적용하면 성능이 더욱 향상되어 원본 모델과의 격차를 줄이고, HE 제약 조건 하에서도 일반화 성능을 향상시킬 수 있었다.
• 6층의 BERT 유사 모델(5330만 파라미터)에 대한 안전한 추론은 CPU+GPU 하드웨어에서 305초가 소요되었으며, 동일한 HE 환경에서 ResNet-152(432초)를 능가하는 성능을 보였다.
• 제거 실험 결과, MLP와 어텐션 정규화에 BatchNorm을 적용하고 길이 스케일링을 통합하는 것이 다항식 트랜스포머에서 높은 정확도를 달성하기 위해 필수적임을 확인하였다.