[논문 리뷰] Circa: Stochastic ReLUs for Private Deep Learning

Zahra Ghodsi, Nandan Kumar Jha외 2명|arXiv (Cornell University)|2021. 06. 15.

Cryptography and Data Security참고 문헌 26인용 수 11

한 줄 요약

Circa는 신경망의 고장 내성과 결합하여 부호 테스트로 재구성하고 입력을 잘라내어, 비밀 추론(PI)의 계산 비용을 줄이는 확률적 ReLU 근사 기법을 제안한다. 이는 ReLU를 부호 테스트로 재정의하고, 입력을 잘라내어 계산 비용을 감소시키며, 신경망의 고장 내성에 기반한다. 이로 인해 기본 PI 대비 스토리지 4.7배 감소, 런타임 3배 향상이 가능하며, DeepReDuce와 같은 최첨단 ReLU 최소화 기법과 조합 시 추가로 1.8배의 속도 향상이 이루어진다.

ABSTRACT

The simultaneous rise of machine learning as a service and concerns over user privacy have increasingly motivated the need for private inference (PI). While recent work demonstrates PI is possible using cryptographic primitives, the computational overheads render it impractical. The community is largely unprepared to address these overheads, as the source of slowdown in PI stems from the ReLU operator whereas optimizations for plaintext inference focus on optimizing FLOPs. In this paper we re-think the ReLU computation and propose optimizations for PI tailored to properties of neural networks. Specifically, we reformulate ReLU as an approximate sign test and introduce a novel truncation method for the sign test that significantly reduces the cost per ReLU. These optimizations result in a specific type of stochastic ReLU. The key observation is that the stochastic fault behavior is well suited for the fault-tolerant properties of neural network inference. Thus, we provide significant savings without impacting accuracy. We collectively call the optimizations Circa and demonstrate improvements of up to 4.7x storage and 3x runtime over baseline implementations; we further show that Circa can be used on top of recent PI optimizations to obtain 1.8x additional speedup.

연구 동기 및 목표

• 암호 프로토콜에서 지배적인 런타임을 차지하는 비밀 추론(PI) 내 ReLU 연산의 높은 계산 오버헤드를 해결한다.
• 기존 PI 프레임워크가 FLOPs 최적화에 치중되어 있으나, ReLU와 같은 비선형 연산의 비용에는 고려하지 않는 한계를 극복한다.
• 딥 뉴럴 네트워크의 본질적 고장 내성성을 활용하여 정확도 손실 없이 ReLU 계산에 확률적 근사를 도입한다.
• 가소한 회로(GC)에 의존하는 ReLU 평가 비용을 줄이기 위해 계산을 더 효율적인 비밀 공유(SSI)로 이관하고, 부호 테스트를 근사화한다.
• 기존의 ReLU 감소 기법(예: DeepReDuce)과 Circa를 조합할 경우 추가 성능 향상을 이끌어내어 PI의 실용적 구현을 촉진한다.

제안 방법

• ReLU를 부호 테스트 후 곱셈으로 재구성하여, 곱셈 연산을 비밀 공유(SSI)로 이관하고, 가소한 회로(GC)에는 부호 테스트만 남긴다.
• 부호 테스트를 확률적 방식으로 평가하는 방법을 도입하여, 입력 크기와 필드 소수에 대한 비율에 비례하는 확률적 고장을 유도한다.
• 부호 테스트에 대해 입력을 잘라내어 비트 폭을 31비트에서 12비트로 감소시키고, 작은 양수 또는 음수 값에 대해 추가 고장을 유도한다.
• 사용자가 정확도와 성능 간의 트레이드오���을 조정할 수 있도록 두 가지 구성 가능한 고장 모드를 제공한다: NegPass(작은 음수 값이 잘못으로 통과됨)와 PosZero(작은 양수 값이 잘못으로 0으로 설정됨).
• 딥 네트워크가 최대 10%의 고장률조차도 정확도 손실 없이 견딜 수 있음을 활용하여, 극단적인 최적화를 가능하게 한다.
• Delphi와 같은 기존 PI 프레임워크 위에 모듈러한 확장으로서 Circa를 구현하여, ReLU 최소화 아키텍처와의 독립적인 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 확률적 및 잘라낸 논리 기반으로 부호 테스트 구성요소를 근사화함으로써, 비밀 추론 내 ReLU 계산을 상당히 가속화할 수 있는가?
• RQ2 딥 네트워크는 ReLU 연산 내에서 얼마나 많은 확률적 고장을 견딜 수 있으며, 추론 정확도에 영향을 주지 않는가?
• RQ3 입력 잘라내기와 확률적 부호 평가가 비밀 추론 내 계산 비용과 정확도 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ4 Circa는 기존의 ReLU 감소 기법과 조합하여 비밀 추론 내 성능 향상을 다중으로 달성할 수 있는가?
• RQ5 기본 ReLU GC를 Circa 최적화 버전으로 교체할 경우, 런타임과 스토리지에서 얻을 수 있는 최대 성능 향상은 어느 정도인가?

주요 결과

• Circa는 기본 Delphi 대비 가소한 회로(GC) 크기를 최대 4.7배 감소시키고, PI 런타임을 최대 3배 향상시킨다.
• 확률적 부호 근사화는 정확도 손실가 매우 미미하며, 네트워크가 10% 이상의 고장률조차도 견딜 수 있다.
• 부호 테스트를 31비트에서 12비트로 잘라내는 것은 GC 크기를 4.7배 감소시키고, 기본 ReLU GC 대비 런타임을 3배 향상시킨다.
• DeepReDuce와 같은 최첨단 ReLU 최소화 프레임워크와 조합할 경우, 기본 대비 추가로 1.8배의 속도 향상이 이루어진다.
• Circa를 통해 TinyImageNet에 대한 추론이 2초 이내로 수행되어 실시간 비밀 추론의 실현 가능성을 입증한다.
• 이 방법은 기존 ReLU 감소 기법과 수직적(orthogonal)이므로, 함께 사용할 경우 누적된 성능 향상이 가능하다.