[論文レビュー] Efficient Pruning for Machine Learning Under Homomorphic Encryption

Ehud Aharoni, Moran Baruch+9 more|arXiv (Cornell University)|Jul 7, 2022

Cryptography and Data Security参考文献 44被引用数 4

ひとこと要約

HE-PExは、重み pruning、並べ替え、拡張を組み合わせることで、暗号化された機械学習における暗号文の体積と推論遅延を顕著に削減する、同型暗号（HE）加速型機械学習のための新規 pruning フレームワークを提案する。新しい並べ替えアルゴリズムにより重みを再配置し、スパース構造を拡張することで、MNISTオートエンコーダーにおいて平均二乗再構成誤差が1.5×10⁻⁵にとどまる中で、メモリと遅延を最大60％削減した。これは、HE環境下での標準的な pruning に比べて顕著に優れている。

ABSTRACT

Privacy-preserving machine learning (PPML) solutions are gaining widespread popularity. Among these, many rely on homomorphic encryption (HE) that offers confidentiality of the model and the data, but at the cost of large latency and memory requirements. Pruning neural network (NN) parameters improves latency and memory in plaintext ML but has little impact if directly applied to HE-based PPML. We introduce a framework called HE-PEx that comprises new pruning methods, on top of a packing technique called tile tensors, for reducing the latency and memory of PPML inference. HE-PEx uses permutations to prune additional ciphertexts, and expansion to recover inference loss. We demonstrate the effectiveness of our methods for pruning fully-connected and convolutional layers in NNs on PPML tasks, namely, image compression, denoising, and classification, with autoencoders, multilayer perceptrons (MLPs) and convolutional neural networks (CNNs). We implement and deploy our networks atop a framework called HElayers, which shows a 10-35% improvement in inference speed and a 17-35% decrease in memory requirement over the unpruned network, corresponding to 33-65% fewer ciphertexts, within a 2.5% degradation in inference accuracy over the unpruned network. Compared to the state-of-the-art pruning technique for PPML, our techniques generate networks with 70% fewer ciphertexts, on average, for the same degradation limit.

研究の動機と目的

• スパースな重みがパッケージング制約のため暗号文の数を減らさないという点で、標準的な pruning が同型暗号（HE）環境において非効率であるという問題に取り組む。
• 多次元テンソルのSIMDパッケージングのため、ほとんどの要素がゼロであっても暗号文を削除できないという制限を克服する。
• モデルの精度を損なわず、HE暗号化ニューラルネットワークにおける高い pruning 比を実現するフレームワークを開発する。
• pruning を HE 友好的なパッケージング（タイルテンソル）と非インタラクティブな推論モデルに統合し、実世界のプライバシー保護型機械学習ワークロードをサポートする。
• 並べ替えと拡張が、精度損失を回復させ、pruning の潜在的効果をHE保護下の推論で最大限に引き出せるかどうかを実証する。

提案手法

• 非ゼロ値をより少ない、密度の高いタイルに集約するように重みを再配置する新しい並べ替えアルゴリズムを提案する。これにより、pruning 時に完全な暗号文を削除する可能性が高まる。
• スパースな重みを拡張されたテンソル次元に再配分する重み拡張技術を導入し、pruning 後のモデル精度を維持する。
• pruning を HeLayers からのタイルテンソルパッケージング（各タイルが1つの暗号文にパックされる）と統合する。これにより、効率的なSIMD操作が可能になる。
• 遅延、メモリ、再構成誤差のバランスを取る目的関数を用いて、pruning 比、タイルサイズ、精度損失を同時に最適化するフレームワークを設計する。
• 非インタラクティブ HE 環境に最適化された最新鋭の pruning 法 Hunter（Cai et al., 2022）を適応させ、HE互換モデルのエンドツーエンドの pruning と再訓練を可能にする。
• 非インタラクティブ推論との互換性を維持し、計算オーバーヘッドを低減するため、ReLU の代替として正方形活性化関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 暗号文がゼロであっても削除できないという制約がある同型暗号環境において、標準的なニューラルネットワークの pruning 技術を効果的に適用できるか。
• RQ2 重みの並べ替えが、HE暗号化ニューラルネットワークにおける pruning の有効性をどのように向上させられるか。具体的には、削除可能な暗号文の数を増やすことによって。
• RQ3 重み拡張技術が、HE保護下のモデルで過剰な pruning による精度損失をどの程度緩和できるか。
• RQ4 HE暗号化オートエンコーダーにおいて、モデル圧縮（暗号文の削減）、遅延、メモリ、再構成精度の間で達成可能なトレードオフは何か。
• RQ5 HE-PEx フレームワークは、HE環境下での暗号文削除効率と推論効率において、既存の pruning 法と比較してどのように優れているか。

主な発見

• MNISTオートエンコーダーにおいて、2×2タイルサイズではゼロタイルの数が最大85％削減され、16×16タイルサイズでは60％削減され、平均二乗再構成誤差は1.5×10⁻⁵にとどまる。
• 最大のオートエンコーダーモデルにおいて、メモリと推論遅延の両方が60％削減され、エンドツーエンドのHE推論における顕著な性能向上が示された。
• 標準的な pruning 技術では、重みの85％を pruning しても暗号文の17％しか削除されないが、HE-PExは、知的な重みの並べ替えとパッケージングのおかげで、85％以上にまで上昇した。
• 提案された並べ替えアルゴリズムにより、95％の pruning でさえも遅延を30％削減でき、暗号文の削除が性能向上の唯一の要因ではないことが示された。
• pruning、並べ替え、拡張の組み合わせにより、HE-PExは、アクティブな暗号文とHE演算の数を顕著に削減しながらも、高い精度を維持できた。
• 本手法は活性化関数の選択とは直交しており、畳み込み層など他の層への応用も可能であるが、特にタイルベースパッケージングを採用する全結合層で最も効果的である。