[논문 리뷰] On Polynomial Approximations for Privacy-Preserving and Verifiable ReLU Networks

Ramy E. Ali, Jinhyun So외 1명|arXiv (Cornell University)|2020. 11. 11.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 19

한 줄 요약

이 논문은 프라이버시 보장 및 검증 가능성을 갖춘 딥 뉴럴 네트워크에서 ReLU 함수를 대체하기 위해 새로운 2차 다항식 활성화 함수 $\sigma_{\text{poly}}(x) = x^2 + x$를 제안한다. 일반적으로 사용되는 제곱 함수 ($x^2$)와는 달리, 이 다항식은 정수 계수를 갖는 바탕으로 ReLU를 더 잘 근사하며, VGG-16 및 NIN을 포함한 다양한 아키텍처에서 CIFAR 및 Tiny ImageNet 데이터셋에서 최대 10.4% 높은 테스트 정확도를 달성한다.

ABSTRACT

Outsourcing deep neural networks (DNNs) inference tasks to an untrusted cloud raises data privacy and integrity concerns. While there are many techniques to ensure privacy and integrity for polynomial-based computations, DNNs involve non-polynomial computations. To address these challenges, several privacy-preserving and verifiable inference techniques have been proposed based on replacing the non-polynomial activation functions such as the rectified linear unit (ReLU) function with polynomial activation functions. Such techniques usually require polynomials with integer coefficients or polynomials over finite fields. Motivated by such requirements, several works proposed replacing the ReLU function with the square function. In this work, we empirically show that the square function is not the best degree-2 polynomial that can replace the ReLU function even when restricting the polynomials to have integer coefficients. We instead propose a degree-2 polynomial activation function with a first order term and empirically show that it can lead to much better models. Our experiments on the CIFAR and Tiny ImageNet datasets on various architectures such as VGG-16 show that our proposed function improves the test accuracy by up to 10.4% compared to the square function.

연구 동기 및 목표

• 프라이버시 보장 및 검증 가능한 딥 뉴럴 네트워크에서 ReLU를 대체할 때 제곱 활성화 함수 ($x^2$)의 낮은 정확도 성능를 해결하기 위해.
• 특히 유한체 또는 정수 계수 제약 조건 하에서, ReLU 함수를 균일하게 근사하는 더 나은 정수 계수를 갖는 2차 다항식을 식별하기 위해.
• VGG-16 및 NIN과 같은 더 깊은 아키텍처와 CIFAR 및 Tiny ImageNet과 같은 현실적인 데이터셋에서 제안된 다항식 활성화 함수가 $x^2$보다 모델 정확도를 향상시키는지를 경험적으로 검증하기 위해.
• 정수 계수나 유한체 조건 하에서도 제곱 함수가 최적의 선택이 아니라는 점을 입증하여, 보안 머신러닝 프레임워크에서 널리 사용되는 제곱 함수의 사용에 도전하기 위해.

제안 방법

• 구간 $[-1, 1]$ 에서 스케일된 ReLU 함수 $2 \cdot \text{ReLU}(x)$ 에 대한 균일 근사로 새로운 다항식 활성화 함수 $\sigma_{\text{poly}}(x) = x^2 + x$ 를 제안한다.
• 이론적 분석을 통해 $[-1, 1]$ 에서 정수 계수 다항식으로 $\text{ReLU}(x)$ 는 균일하게 근사할 수 없지만, 스케일링 상수가 짝수일 경우 $2 \cdot \text{ReLU}(x)$ 는 근사 가능하다는 것을 밝힌다.
• 더 큰 구간 $[-a, a]$ 에서는 $2 \cdot \text{ReLU}(x)$ 를 실계수 다항식으로 근사한 후, 정수 계수로 반올림하여 유한체 호환성을 확보한다.
• 정수 또는 유한체 다항식을 요구하는 프라이버시 보장 및 검증 가능한 계산 기법과의 호환성을 확보한다.
• 다양한 아키텍처(VGG-16, NIN, LeNet, CNN)와 데이터셋(CIFAR-10, CIFAR-100, Tiny ImageNet-10, Tiny ImageNet-200)을 대상으로 제안된 $x^2 + x$ 와 $x^2$ 의 경험적 평가를 수행한다.
• 학습률, 가중치 감쇠, 배치 크기와 같은 하이퍼파rameter는 활성화 함수 간 공정한 비교를 위해 조정된다.

실험 결과

연구 질문

• RQ1 제곱 함수 ($x^2$) 는 프라이버시 보장 및 검증 가능한 딥 뉴럴 네트워크에서 ReLU 를 근사하기 위한 정수 계수를 갖는 최적의 2차 다항식인가?
• RQ2 ReLU 를 $x^2$ 보다 더 정확하게 근사할 수 있는 더 나은 정수 계수를 갖는 2차 다항식을 찾을 수 있는가?
• RQ3 ReLU 를 더 잘 근사하는 다항식으로 대체할 경우, 프라이버시 보장 및 검증 가능한 추론 프레임워크에서 정확도 향상이 뚜렷하게 이루어지는가?
• RQ4 정수 계수 다항식으로 $[-1, 1]$ 에서 ReLU 함수를 균일하게 근사할 수 있는가?
• RQ5 더 깊은 아키텍처와 복잡한 데이터셋에서 제안된 다항식 $x^2 + x$ 는 $x^2$ 와 비교해 어떤 정확도를 보이는가?

주요 결과

• Liu 등(2017)의 아키텍처를 사용한 CIFAR-10 에서 제안된 다항식 활성화 함수 $\sigma_{\text{poly}}(x) = x^2 + x$ 는 $x^2$ 보다 테스트 정확도를 5.6% 향상시켰다.
• CIFAR-100 에서는 동일한 아키텍처를 사용했을 때 $x^2$ 와 비교해 정확도가 4.0% 향상되었다.
• NIN 아키텍처에서 CIFAR-10 에서는 7.7% 향상되었고, CIFAR-100 에서는 9.4% 향상되었다.
• Tiny ImageNet-200 와 함께 VGG-16 를 사용한 경우, 제안된 함수는 제곱 함수보다 10.4% 높은 테스트 정확도를 달성했다.
• Tiny ImageNet-10 와 함께 LeNet 을 사용한 경우, 제안된 함수는 $x^2$ 보다 정확도를 5.8% 향상시켰다.
• 이론적 분석을 통해 $\text{ReLU}(x)$ 는 $[-1, 1]$ 에서 정수 계수 다항식으로 균일하게 근사할 수 없지만, $2 \cdot \text{ReLU}(x)$ 는 근사 가능하다는 점을 확인하여, $x^2 + x$ 가 더 나은 근사로 선택된 것을 정당화한다.