[論文レビュー] Converting Transformers to Polynomial Form for Secure Inference Over Homomorphic Encryption

Itamar Zimerman, Moran Baruch+4 more|arXiv (Cornell University)|Nov 15, 2023

Cryptography and Data Security被引用数 5

ひとこと要約

本論文は、同型暗号（HE）と互換性を持つ最初の多項式形式のトランスフォーマー・モデルを紹介し、データやモデル重みを露呈せずに安全な推論を可能にした。ソフトマックスやレイヤーノーマライゼーションといった非多項式演算を、特にスケーリングされたσアテンション機構とバッチノーマライゼーションに基づく正規化による多項式近似に置き換えることで、WikiText-103（59.1％の精度）、CIFAR-100／Tiny-ImageNetの両タスクで競争力ある性能を達成した。これは、最小限の性能差で、標準モデルに匹敵する性能を示す、初めての実用的かつHEに保護されたトランスフォーマー推論の実現である。

ABSTRACT

Designing privacy-preserving deep learning models is a major challenge within the deep learning community. Homomorphic Encryption (HE) has emerged as one of the most promising approaches in this realm, enabling the decoupling of knowledge between the model owner and the data owner. Despite extensive research and application of this technology, primarily in convolutional neural networks, incorporating HE into transformer models has been challenging because of the difficulties in converting these models into a polynomial form. We break new ground by introducing the first polynomial transformer, providing the first demonstration of secure inference over HE with transformers. This includes a transformer architecture tailored for HE, alongside a novel method for converting operators to their polynomial equivalent. This innovation enables us to perform secure inference on LMs with WikiText-103. It also allows us to perform image classification with CIFAR-100 and Tiny-ImageNet. Our models yield results comparable to traditional methods, bridging the performance gap with transformers of similar scale and underscoring the viability of HE for state-of-the-art applications. Finally, we assess the stability of our models and conduct a series of ablations to quantify the contribution of each model component.

研究の動機と目的

• トランスフォーマー・モデルにおける同型暗号（HE）を用いた安全な推論を可能にすること。これは、従来、ソフトマックスやレイヤーノーマライゼーションといった非多項式演算のため、実現が困難であった。
• HEに適したアーキテクチャ的代替手法の開発により、HE保護付きトランスフォーマーとその非暗号化版との間の性能ギャップを埋めること。
• 完全なトランスフォーマー・モデルをHE下でデプロイ可能であることを実証すること。言語モデリングおよび画像分類タスクの両方を含む。
• アテンション層および正規化層の多項式変換を安定的かつスケーラブルに実現するフレームワークを提供し、プライバシー保護型ディープラーニングの広範な採用を促進すること。

提案手法

• ソフトマックスをσ関数を用いた多項式近似に置き換えるスケーリングされたσアテンション機構を提案。これにより、HEに準拠した計算が可能になる。
• 多ヘッドアテンションおよびMLPサブレイヤーの両方で、レイヤーノーマライゼーションをバッチノーマライゼーションに置き換えることで、多項式表現との整合性を確保する。
• 2段階の訓練手順を導入：まず標準的なトランスフォーマーで事前学習を行い、その後、多項式活性化関数とバッチノーマライゼーションを用いて微調整することで、性能を維持する。
• 長さスケーリングとアテンションヘッド全体にわたる2次元バッチノーマライゼーションを適用し、多項式トランスフォーマー変種の訓練安定性と精度向上を図る。
• 128ビットのセキュリティ、2^15係数、12段の乗算深さ、42小数部精度を設定したHE-SDK（HElayers v1.52）とHEaaNバックエンドを用いる。
• AMD EPYC 7763 + NVIDIA A100を用いたCPU-GPUハイブリッドアーキテクチャを活用し、HE推論を高速化。6層のBERTに類似したモデルで1回の推論に305秒を達成。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーが効果的に多項式形式に変換可能であるか。これにより、同型暗号下での安全な推論が可能になるか。
• RQ2 ソフトマックスやレイヤーノーマライゼーションといった非多項式演算が、性能の著しい低下を伴わずに多項式関数で近似可能か。
• RQ3 HE制約下での訓練および推論において、多項式トランスフォーマーの安定性を確保するために必要なアーキテクチャ的変更は何か。
• RQ4 多項式トランスフォーマーが、NLPおよびビジョンベンチマークにおいて、標準トランスフォーマーとどの程度性能を一致できるか。
• RQ5 各構成要素（例：バッチノーマライゼーション、長さスケーリング）が、HE保護付きトランスフォーマー・モデルの安定性および精度に与える影響は何か。

主な発見

• 提案された多項式トランスフォーマーは、すべての安定化技術を組み合わせたσアテンション機構を用いて、WikiText-103で59.1％の精度を達成。元のスウィン・トランスフォーマーの59.4％に非常に近い。
• Tiny-ImageNetでは、最良の多項式ViTバージョン（B+QK+A+S）がσアテンションを用いて59.1％の精度を達成。元のスウィン・トランスフォーマーと同等の性能を示した。
• アテンションヘッド全体にわたる2次元バッチノーマライゼーション（B+QK）の導入により、GELUでは39.0％から49.8％へ、ReLUでは38.4％から50.1％へと精度が向上。安定性において極めて重要な役割を果たしていることが示された。
• 長さスケーリング（S）の導入により、性能がさらに向上。元のモデルとのギャップが縮まり、HE制約下でも一般化性能が向上した。
• 6層のBERTに類似したモデル（5330万パラメータ）の安全な推論に、CPU+GPUハードウェアで305秒を要した。同じHE環境下で、ResNet-152（432秒）を上回る性能を示した。
• アブレーションスタディにより、MLPにおけるバッチノーマライゼーション、アテンション正規化、長さスケーリングの組み合わせが、多項式トランスフォーマーにおける高精度を達成するために不可欠であることが確認された。