[논문 리뷰] Sisyphus: A Cautionary Tale of Using Low-Degree Polynomial Activations in Privacy-Preserving Deep Learning

Karthik Garimella, Nandan Kumar Jha외 1명|arXiv (Cornell University)|2021. 07. 26.

Cryptography and Data Security인용 수 8

한 줄 요약

이 논문은 비용이 많이 드는 가짜 회로를 피하기 위해 프라이버시 보장 딥러닝에서 모든 ReLU 활성화 함수를 저차수 다항식 함수로 대체하는 가능성에 대해 조사한다. QuaIL 및 ApproxMinMaxNorm와 같은 새로운 훈련 전략을 제안함에도 불구하고, 저자들은 안정적인 경계가 없을 경우 다항식 활성화 함수가 추론 도중 폭발하거나 발산하는 광범위한 '활성화 값 탈출 문제'를 확인한다. 결국 정확한 최소/최대 정규화가 반드시 필요하다는 것을 입증하며, 이는 ReLU 기반의 가짜 회로를 제거하고자 하는 목표를 뒤흔드는 순환적 의존성을 초래한다.

ABSTRACT

Privacy concerns in client-server machine learning have given rise to private inference (PI), where neural inference occurs directly on encrypted inputs. PI protects clients' personal data and the server's intellectual property. A common practice in PI is to use garbled circuits to compute nonlinear functions privately, namely ReLUs. However, garbled circuits suffer from high storage, bandwidth, and latency costs. To mitigate these issues, PI-friendly polynomial activation functions have been employed to replace ReLU. In this work, we ask: Is it feasible to substitute all ReLUs with low-degree polynomial activation functions for building deep, privacy-friendly neural networks? We explore this question by analyzing the challenges of substituting ReLUs with polynomials, starting with simple drop-and-replace solutions to novel, more involved replace-and-retrain strategies. We examine the limitations of each method and provide commentary on the use of polynomial activation functions for PI. We find all evaluated solutions suffer from the escaping activation problem: forward activation values inevitably begin to expand at an exponential rate away from stable regions of the polynomials, which leads to exploding values (NaNs) or poor approximations.

연구 동기 및 목표

• 저차수 다항식 활성화 함수가 가짜 회로에 의존하지 않고 프라이버시 보장 딥러닝에서 ReLU를 완전히 대체할 수 있는지 평가하는 것.
• 딥 네트워크에서 다항식 활성화 함수에 대한 기존의 드롭-앤플레이스 및 재훈련 전략의 한계를 조사하는 것.
• 다항식 기반 추론에서의 불안정성의 근본 원인, 특히 활성화 값 탈출 문제를 특정하고 분석하는 것.
• 근사 정규화 기법이 추론 도중 활성화 값에 효과적으로 경계를 설정하는지 평가하는 것.
• 저차수 다항식 활성화 함수를 안정적으로 정확하게 추론하기 위해 정확한 최소/최대 값 계산이 반드시 필요한지 평가하는 것.

제안 방법

• 사전에 훈련된 모든 ReLU 네트워크의 중간 특징을 모방하도록 훈련하는 Quad (x²) 네트워크를 사용하는 새로운 재훈련 전략인 QuaIL을 제안한다.
• 가중 이동 평균를 통해 추정한 최소 및 최대 값을 사용하는 ApproxMinMaxNorm이라는 정규화 레이어를 도입하여 다항식 적용 이전의 전활성화 입력을 경계한다.
• 두 단계 훈련 과정을 사용한다: 첫 번째로 표준 ReLU 네트워크를 훈련하고, 두 번째로 ReLU 모델의 지식 정착을 통해 Quad 네트워크를 미세조정한다.
• 평가를 위해 드롭-앤플레이스 전략(테일러 근사, 다항식 회귀)과 재훈련 기반 접근법(QuaIL, ApproxMinMaxNorm)을 모두 활용한다.
• 정규화 정확도가 활성화 안정성에 미치는 영향을 분리하기 위해 근사된 최소/최대 값과 진짜 최소/최대 값 사용 시의 추론 동작을 비교한다.
• 모델 정확도와 활성화 동역학을 평가하기 위해 MNIST, CIFAR-10, CIFAR-100, TinyImageNet 등의 표준 벤치마크를 사용한다.

실험 결과

연구 질문

• RQ1 저차수 다항식 활성화 함수인 Quad (x²)가 프라이버시 보장 추론을 위한 딥 네트워크에서 ReLU를 완전히 대체할 수 있는가?
• RQ2 지식 정착을 통한 재훈련(QuaIL)이 더 깊은 네트워크에서 다항식 활성화 함수를 효과적으로 안정화시키는가?
• RQ3 근사 최소/최대 정규화 기법이 다항식 기반 네트워크에서 활성화 폭발을 어느 정도 방지하는가?
• RQ4 정규화 및 재훈련에도 불구하고 다항식 기반 네트워크가 여전히 불안정한 이유는 무엇인가?
• RQ5 다항식 활성화 함수를 안정적으로 정확하게 추론하기 위해 정확한 최소/최대 값 계산이 반드시 필요한가?

주요 결과

• 모든 평가된 방법—드롭-앤플레이스, 재훈련, 근사 정규화—모두 추론 도중 활성화 값이 무한대 방향으로 증가하는 '활성화 값 탈출 문제'를 앓는다.
• QuaIL 훈련을 거쳐도 ResNet32 및 MobileNetV1과 같은 더 깊은 네트워크에서 근사된 최소/최대 값 사용 시 추론 도중 활성화 값이 발산한다.
• 추론 도중 진짜 최소 및 최대 값 사용 시(QuaIL+MM) 안정성이 복원되며, 모든 ReLU 기반 베이스라인 성능과 일치함을 입증하여 정확한 경계가 필수적임을 증명한다.
• 근사된 최소/최대 값은 더 깊은 층에서 누적 오차를 유발하여, 안정적인 훈련에도 불구하고 활성화 폭발을 초래한다.
• 다항식 활성화 함수를 안정화하기 위해 정확한 최소/최대 값 계산이 반드시 필요하다는 점은, 최소/최대 연산 자체가 ReLU 또는 가짜 회로를 필요로 하므로, 이는 정확히 그 방법이 제거하고자 하는 대상과 일치하는 순환적 의존성을 초래한다.
• 정확한 최소/최대 경계 없이 저차수 다항식을 사용하는 모든 방법은 대규모 모델에서 안정적이고 정확한 추론을 달성하지 못하며, 현재의 접근법은 ReLU 완전 대체에 효과적이지 않다.