[논문 리뷰] AESPA: Accuracy Preserving Low-degree Polynomial Activation for Fast Private Inference

Jaiyoung Park, Michael Jaemin Kim외 2명|arXiv (Cornell University)|2022. 01. 18.

Cryptography and Data Security인용 수 8

한 줄 요약

이 논문은 허미트 다항식 전개와 기저별 정규화를 조합하여 모델 정확도를 유지하는 저차수 다항식 활성화 함수인 AESPA를 제안한다. 이를 통해 비용이 많이 드는 가로지르기 회로 대신 베이버의 곱셈 트리플을 사용한 효율적인 프라이빗 인퍼런스를 가능하게 한다. ResNet, VGG 및 프리-액티베이션 ResNet 모델에 적용했을 때, Delphi 프라이빗 인퍼런스 프로토콜에서 온라인 지연 시간을 최대 61.4배 감소시키고 통신 비용을 28.9배 감소시켰으며, 복잡한 재학습이나 NAS 없이 ReLU 기반 모델의 정확도를 유지한다.

ABSTRACT

Hybrid private inference (PI) protocol, which synergistically utilizes both multi-party computation (MPC) and homomorphic encryption, is one of the most prominent techniques for PI. However, even the state-of-the-art PI protocols are bottlenecked by the non-linear layers, especially the activation functions. Although a standard non-linear activation function can generate higher model accuracy, it must be processed via a costly garbled-circuit MPC primitive. A polynomial activation can be processed via Beaver's multiplication triples MPC primitive but has been incurring severe accuracy drops so far. In this paper, we propose an accuracy preserving low-degree polynomial activation function (AESPA) that exploits the Hermite expansion of the ReLU and basis-wise normalization. We apply AESPA to popular ML models, such as VGGNet, ResNet, and pre-activation ResNet, to show an inference accuracy comparable to those of the standard models with ReLU activation, achieving superior accuracy over prior low-degree polynomial studies. When applied to the all-RELU baseline on the state-of-the-art Delphi PI protocol, AESPA shows up to 42.1x and 28.3x lower online latency and communication cost.

연구 동기 및 목표

• 비선형 활성화 함수, 특히 ReLU에 의존하는 고비용의 가로지르기 회로 MPC 기반 원리를 사용하는 하이브리드 프라이빗 인퍼런스 프로토콜에서 발생하는 성능 저하 문제를 해결하기 위해.
• 이전의 저차수 다항식 활성화 함수에서 흔히 발생하는 심각한 정확도 저하 문제를 극복하기 위해.
• 딥 뉴럴 네트워크의 모든 ReLU 유닛을, 베이버의 곱셈 트리플을 사용한 효율적 계산을 지원하는 다항식 활성화 함수로 완전히 대체할 수 있도록 하기 위해.
• 복잡한 신경망 아키텍처 탐색 또는 재학습 기법 없이도, 저차수 다항식을 사용하면서도 ReLU 기반 모델과 유사한 높은 모델 정확도를 달성하기 위해.
• 최신 기술인 Delphi 프로토콜을 사용한 실제 프라이빗 인퍼런스 환경에서 뚜렷한 성능 향상을 입증하기 위해.

제안 방법

• 허미트 다항식 전개와 기저별 정규화를 조합한 HerPN 블록을 도입하여 학습 안정성과 기울기 소실/과도 문제를 완화한다.
• 허미트 전개를 사용해 ReLU 함수를 저차수 다항식으로 근사함으로써, MPC에서 베이버의 곱셈 트리플을 통해 효율적으로 평가할 수 있도록 한다.
• 각 채널 또는 특징 맵에 대해 기저별 정규화를 적용하여 입력 분포를 정규화함으로써 학습 중 기울기 흐름과 모델 안정성을 향상시킨다.
• 아키텍처의 대대적인 수정 없이도 표준 딥 러닝 아키텍처인 ResNet, 프리-액티베이션 ResNet, VGGNet에 제안된 활성화 함수를 통합한다.
• 모든 ReLU 유닛을 HerPN 블록으로 대체하여 베이버 트리플 기반 원리를 유일하게 활용할 수 있도록, Delphi 프라이빗 인퍼런스 프로토콜에서 종단 간 평가를 수행한다.
• 직접 ReLU를 기울기 가능한 저차수 다항식으로 대체함으로써 복잡한 재학습 또는 NAS를 피하는 방식을 취한다.

실험 결과

연구 질문

• RQ1 저차수 다항식 활성화 함수가 프라이빗 인퍼런스에 사용되는 딥 뉴럴 네트워크에서 ReLU와 유사한 정확도를 유지할 수 있는가?
• RQ2 허미트 다항식 전개와 기저별 정규화를 조합하면 다항식 기반 활성화 함수에서 기울기 소실/과도 문제를 안정화하고 방지할 수 있는가?
• RQ3 하이브리드 MPC-HE 프라이빗 인퍼런스 프로토콜에서 모든 ReLU 유닛을 다항식 활성화 함수로 대체할 경우, 온라인 지연 시간과 통신 비용을 얼마나 줄일 수 있는가?
• RQ4 CIFAR-10/100 및 TinyImageNet와 같은 표준 벤치마크에서 이전의 저차수 다항식 근사 방법에 비해 정확도와 효율성 측면에서 본 논문의 방법이 뛰어나게 성능을 발휘하는가?
• RQ5 복잡한 모델 재학습이나 아키텍처 탐색 없이도 실제 프라이빗 인퍼런스 시스템에 효과적으로 구현할 수 있는가?

주요 결과

• AESPA는 CIFAR-10/100 및 TinyImageNet에서 ReLU 기반 모델과 유사한 분류 정확도를 달성하며, 이전의 저차수 다항식 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• Delphi 프라이빗 인퍼런스 프로토콜에 적용했을 때, 모든 ReLU 유닛을 베이버의 곱셈 트리플로 대체함으로써 온라인 지연 시간을 최대 61.4배 감소시키고 통신 비용을 최대 28.9배 감소시켰다.
• ResNet18/32, 프리-액티베이션 ResNet18/32, VGG16에서 모든 ReLU 유닛을 완전히 대체할 수 있었으며, 어떤 활성화 레이어에서도 고비용의 가로지르기 회로가 필요 없어졌다.
• 허미트 전개와 기저별 정규화를 적용한 HerPN 블록은 기울기 불안정성을 효과적으로 완화하여, 저차수 다항식을 사용함에도 불구하고 높은 정확도를 달성할 수 있었다.
• 이전의 연구들인 [17] 및 [11]과 비교해 볼 때, 고차수 다항식이나 복잡한 재학습이 필요로 하는 대비로 더 뛰어난 정확도를 확보했다.
• 실제 물리적 머신과 네트워크 환경에서의 구현을 통해 실용적인 효과를 입증하였으며, 모델 정확도를 희생시키지 않고도 측정 가능한 성능 향상을 보였다.