[論文レビュー] Sisyphus: A Cautionary Tale of Using Low-Degree Polynomial Activations in Privacy-Preserving Deep Learning

Karthik Garimella, Nandan Kumar Jha+1 more|arXiv (Cornell University)|Jul 26, 2021

Cryptography and Data Security被引用数 8

ひとこと要約

この論文は、プライバシー保護型ディープラーニングにおけるコストの高いゲート回路を回避するために、すべてのReLU活性化関数を低次の多項式関数に置き換える可能性を調査する。QuaIL や ApproxMinMaxNorm といった新しいトレーニング戦略を提案するが、著者たちは多項式活性化関数が不安定な境界のため推論中に発散または発散するという広範な「活性化関数の脱出問題」を特定する。最終的に、正確な最小/最大正規化が必須であることを示し、ReLUベースのゲート回路を排除するという目的をくつがえす循環的依存関係を生じさせる。

ABSTRACT

Privacy concerns in client-server machine learning have given rise to private inference (PI), where neural inference occurs directly on encrypted inputs. PI protects clients' personal data and the server's intellectual property. A common practice in PI is to use garbled circuits to compute nonlinear functions privately, namely ReLUs. However, garbled circuits suffer from high storage, bandwidth, and latency costs. To mitigate these issues, PI-friendly polynomial activation functions have been employed to replace ReLU. In this work, we ask: Is it feasible to substitute all ReLUs with low-degree polynomial activation functions for building deep, privacy-friendly neural networks? We explore this question by analyzing the challenges of substituting ReLUs with polynomials, starting with simple drop-and-replace solutions to novel, more involved replace-and-retrain strategies. We examine the limitations of each method and provide commentary on the use of polynomial activation functions for PI. We find all evaluated solutions suffer from the escaping activation problem: forward activation values inevitably begin to expand at an exponential rate away from stable regions of the polynomials, which leads to exploding values (NaNs) or poor approximations.

研究の動機と目的

• プライバシー保護型ディープラーニングにおいて、ゲート回路に依存せずに低次の多項式活性化関数がReLUを完全に置き換えることができるかを評価すること。
• 深層ネットワークにおける多項式活性化関数のドロップアンドリプレースおよび再トレーニング戦略の限界を調査すること。
• 多項式ベースの推論における不安定性の根本的要因、特に「活性化関数の脱出問題」を特定・分析すること。
• 近似正規化技術が推論中に活性化値を適切に束縛できるかを評価すること。
• 深く複雑なモデルにおいて多項式活性化関数を安定化させるために正確な最小/最大計算が必要かどうかを評価すること。

提案手法

• QuaIL を提案する。これは、事前に訓練されたすべてReLUのネットワークの中間特徴を模倣するように、四乗（x²）ネットワークを訓練する新しい再トレーニング戦略である。
• ApproxMinMaxNorm を導入する。これは、重み付き移動平均から得た近似最小値・最大値を用いて、多項式関数を適用する前の入力を束縛する正規化層である。
• 二段階のトレーニングプロセスを採用する。まず、標準的なReLUネットワークを訓練し、次に、ReLUモデルからの知識蒸留を用いてQuadネットワークをファインチューニングする。
• 評価には、テイラー近似や多項式回帰を用いたドロップアンドリプレース戦略と、QuaIL や ApproxMinMaxNorm を用いた再トレーニングベースのアプローチを併用する。
• 近似された最小/最大値と真の最小/最大値を用いた推論の挙動を比較し、正規化の正確さが活性化関数の安定性に与える影響を隔離する。
• MNIST、CIFAR-10、CIFAR-100、TinyImageNet といった標準ベンチマークを用いて、モデルの精度と活性化ダイナミクスを評価する。

実験結果

リサーチクエスチョン

• RQ1 低次の多項式活性化関数（例：Quad (x²)）は、プライバシー保護型推論において、深層ニューラルネットワークのReLUを完全に置き換えることができるか？
• RQ2 知識蒸留を用いた再トレーニング（QuaIL）は、より深いネットワークにおける多項式活性化関数の安定化に効果的か？
• RQ3 近似最小/最大正規化技術は、多項式ベースのネットワークにおける活性化の爆発をどの程度防止できるか？
• RQ4 正規化と再トレーニングを施しても、なぜ多項式ベースのネットワークは依然として不安定になるのか？
• RQ5 多項式活性化関数の安定的かつ正確な推論を実現するためには、正確な最小/最大計算が必須か？

主な発見

• ドロップアンドリプレース、再トレーニング、近似正規化のすべての評価手法が、推論中に活性化が無制限に増大するという「活性化関数の脱出問題」に見舞われる。
• QuaIL トレーニングでさえ、ResNet32 や MobileNetV1 といったより深いネットワークでは、近似最小/最大値を用いた推論時に活性化値が発散する。
• 推論時に真の最小値・最大値を使用した場合（QuaIL+MM）にのみ安定性が回復し、すべてReLUのベースラインと同等の性能が得られる。これは正確な境界値が不可欠であることを証明する。
• 近似最小/最大値は、深い層で累積誤差を引き起こし、訓練段階では安定していても、推論段階で活性化が爆発する原因となる。
• 多項式活性化関数の安定化に正確な最小/最大計算が必要であるという事実は、逆に、最小/最大計算自体がReLUまたはゲート回路を必要とすることを意味し、まさにこの方法が排除したい対象と一致する循環的依存関係を生じさせる。
• 正確な最小/最大境界がなければ、低次の多項式を用いたあらゆる手法は、大規模なモデルでは安定的かつ正確な推論を達成できず、結果として現在のアプローチはReLUの完全な置き換えには無効である。