[論文レビュー] On Polynomial Approximations for Privacy-Preserving and Verifiable ReLU Networks

Ramy E. Ali, Jinhyun So+1 more|arXiv (Cornell University)|Nov 11, 2020

Adversarial Robustness in Machine Learning参考文献 31被引用数 19

ひとこと要約

本稿では、プライバシー保護型で検証可能な深層ニューラルネットワークにおけるReLU関数の置き換えを目的として、新しい2次多項式活性化関数 $\sigma_{\text{poly}}(x) = x^2 + x$ を提案する。一般的に用いられる平方関数 ($x^2$) とは異なり、この多項式は整数係数でReLUをよりよく近似する。VGG-16 や NIN を含む複数のアーキテクチャにおいて、CIFAR および Tiny ImageNet データセットで最高で10.4%高いテスト精度を達成する。

ABSTRACT

Outsourcing deep neural networks (DNNs) inference tasks to an untrusted cloud raises data privacy and integrity concerns. While there are many techniques to ensure privacy and integrity for polynomial-based computations, DNNs involve non-polynomial computations. To address these challenges, several privacy-preserving and verifiable inference techniques have been proposed based on replacing the non-polynomial activation functions such as the rectified linear unit (ReLU) function with polynomial activation functions. Such techniques usually require polynomials with integer coefficients or polynomials over finite fields. Motivated by such requirements, several works proposed replacing the ReLU function with the square function. In this work, we empirically show that the square function is not the best degree-2 polynomial that can replace the ReLU function even when restricting the polynomials to have integer coefficients. We instead propose a degree-2 polynomial activation function with a first order term and empirically show that it can lead to much better models. Our experiments on the CIFAR and Tiny ImageNet datasets on various architectures such as VGG-16 show that our proposed function improves the test accuracy by up to 10.4% compared to the square function.

研究の動機と目的

• プライバシー保護型および検証可能な深層ニューラルネットワークにおいてReLUを置き換える際、平方関数 ($x^2$) の精度性能の低さを是正すること。
• 特に有限体または整数係数の制約下でも、ReLU関数を均一に近似できる、より優れた整数係数の2次多項式を同定すること。
• 提案された多項式活性化関数が、VGG-16 や NIN などのより深いアーキテクチャおよび CIFAR や Tiny ImageNet などの現実的なデータセットにおいて、$x^2$ よりもモデル精度を向上させることを実証的に検証すること。
• 整数係数または有限体の制約下でも、平方関数が最適でないことを示し、安全な機械学習フレームワークにおける広範な使用を疑問視すること。

提案手法

• 区間 $[-1, 1]$ において、スケーリングされたReLU関数 $2 \cdot \text{ReLU}(x)$ に対する均一近似として、新しい多項式活性化関数 $\sigma_{\text{poly}}(x) = x^2 + x$ を提案する。
• 理論的分析により、$\text{ReLU}(x)$ は $[-1, 1]$ 上で整数係数多項式によって均一近似できないが、スケーリング定数が偶数のとき、$2 \cdot \text{ReLU}(x)$ は均一近似可能であることが示される。
• より大きな区間 $[-a, a]$ に対しては、$2 \cdot \text{ReLU}(x)$ に対する実数係数多項式近似を用い、その後係数を整数に丸めて有限体互換性を確保する。
• プライバシー保護型および検証可能な計算技術が要求する整数または有限体多項式との互換性を保証する。
• CIFAR-10、CIFAR-100、Tiny ImageNet-10、Tiny ImageNet-200 などのデータセットと、VGG-16、NIN、LeNet、CNN などの複数のアーキテクチャを用いた、提案関数 $x^2 + x$ と $x^2$ の比較による実証的評価を実施。
• 学習率、重み減衰、バッチサイズなどのハイパーパrameterは、活性化関数間の公平な比較を実現するために調整される。

実験結果

リサーチクエスチョン

• RQ1 平方関数 ($x^2$) は、深層ニューラルネットワークにおけるReLUの近似に最適な整数係数の2次多項式であるか？
• RQ2 ReLU を $x^2$ よりも正確に近似できる、整数係数のより優れた2次多項式を特定できるか？
• RQ3 ReLU をよりよく近似する多項式に置き換えることで、プライバシー保護型および検証可能な推論フレームワークにおける精度向上が顕著に得られるか？
• RQ4 整数係数多項式は、$[-1, 1]$ 上でReLU関数を均一に近似できるか？
• RQ5 提案された多項式 $x^2 + x$ は、より深いアーキテクチャおよび複雑なデータセットにおいて、$x^2$ と比較してテスト精度でどのように差をつけるか？

主な発見

• 提案された多項式活性化関数 $\sigma_{\text{poly}}(x) = x^2 + x$ は、Liu et al. (2017) が提示したアーキテクチャを用いたCIFAR-10では、$x^2$ よりも5.6%高いテスト精度を達成する。
• CIFAR-100では、同じアーキテクチャを用いて $x^2$ よりも4.0%高い精度を達成する。
• NINアーキテクチャでは、CIFAR-10で7.7%、CIFAR-100で9.4%の精度向上を達成する。
• Tiny ImageNet-200 を用いたVGG-16では、提案関数が平方関数よりも10.4%高いテスト精度を達成する。
• Tiny ImageNet-10 を用いたLeNetでは、提案関数が $x^2$ よりも5.8%高い精度を達成する。
• 理論的分析により、$\text{ReLU}(x)$ は $[-1, 1]$ 上で整数係数多項式によって均一近似できないが、$2 \cdot \text{ReLU}(x)$ は可能であることが確認され、$x^2 + x$ がより優れた近似であることが裏付けられる。