[論文レビュー] HeLayers: A Tile Tensors Framework for Large Neural Networks on Encrypted Data

Ehud Aharoni, Allon Adir+10 more|arXiv (Cornell University)|Nov 3, 2020

Algorithms and Data Compression被引用数 6

ひとこと要約

HeLayersは、大規模なニューラルネットワークにおける同型暗号（HE）パッキングを抽象化するタイルテンソルフレームワークを導入し、暗号化されたデータ上で効率的な推論を可能にした。データレイアウトの最適化と一般化されたオペレーターシステムを活用することで、暗号化されたAlexNetの推論を5分で実現。従来の非インタラクティブHEソリューションと比較して、数個のオーダーも速い。

ABSTRACT

Privacy-preserving solutions enable companies to offload confidential data to third-party services while fulfilling their government regulations. To accomplish this, they leverage various cryptographic techniques such as Homomorphic Encryption (HE), which allows performing computation on encrypted data. Most HE schemes work in a SIMD fashion, and the data packing method can dramatically affect the running time and memory costs. Finding a packing method that leads to an optimal performant implementation is a hard task. We present a simple and intuitive framework that abstracts the packing decision for the user. We explain its underlying data structures and optimizer, and propose a novel algorithm for performing 2D convolution operations. We used this framework to implement an HE-friendly version of AlexNet, which runs in three minutes, several orders of magnitude faster than other state-of-the-art solutions that only use HE.

研究の動機と目的

• 暗号化されたデータ上で大規模なニューラルネットワークを同型暗号（HE）で実行する際の性能ボトルネックを解消すること。
• 開発者が低レベルの暗号的データレイアウト選択を意識しなくてもよいように、低レベルの暗号的データレイアウト選択を抽象化することで、HEパッキング意思決定の複雑さを軽減すること。
• 非インタラクティブHEを用いて、AlexNet や SqueezeNet といった大規模モデルに対して効率的でスケーラブルな推論を可能にすること。
• 設定可能なタイルテンソルレイアウトを通じて、遅延、スループット、メモリ使用量のトレードオフをサポートする柔軟なフレームワークを提供すること。
• クライアント支援計算を必要としない非インタラクティブHEのみを用いて、実用的で高性能な大規模モデルの推論を実現すること。

提案手法

• HE暗号文スロット内のカスタマイズ可能なパッキング戦略を備えた、多次元データを表現する高レベルな抽象化としてのタイルテンソルを導入。
• すべてのタイルテンソル設定に適応可能な汎用的でレイアウトに依存しないオペレーターシステムを採用し、再実装なしにシームレスなテンソル演算を実現。
• ユーザーが指定した目的（例：低遅延、高スループット、メモリ効率）に基づき、最適なタイルテンソルレイアウトを選択する設定可能な最適化ツールを活用。
• CKKSスタイルのHE方式におけるSIMD同型評価と効率的なスロット利用を活かした、2次元畳み込み演算の新規アルゴリズムを適用。
• タイルテンソルのバッチ次元を調整することで動的バッチ処理を実現し、遅延とスループットのトレードオフを可能に。
• HEに適した計算に適合させたim2colおよび行列対角化技術を活用し、冗長な演算と回転操作を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 大規模なニューラルネットワークにおける同型暗号のデータパッキングという複雑なタスクを、どのように抽象化・自動化できるか？
• RQ2 非インタラクティブHE推論において、異なるテンソルパッキング戦略が性能、メモリ使用量、通信コストに与える影響は何か？
• RQ3 多様なニューラルネットワーク演算をサポートしつつ、さまざまなHE設定で高いパフォーマンスを維持できる、汎用的かつ再利用可能なフレームワークを構築できるか？
• RQ4 提案されたタイルテンソルフレームワークは、CHET や nGraph-HE2 といった既存システムと比較して、遅延、スループット、メモリ効率の点でどのように異なるか？
• RQ5 クライアント側の協力が不要な非インタラクティブHEを、実用的で大規模なニューラルネットワーク推論にどの程度活用できるか？

主な発見

• HeLayersは、暗号化された大容量入力のAlexNetに対してエンドツーエンドの推論を約5分で実現。従来の非インタラクティブHEソリューションが3時間以上かかっていたのと比べ、顕著な改善を達成。
• 低遅延最適化下でSqueezeNet-CIFARベンチマークにおいてCHETと比較し、1.24倍の遅延低減を達成。バッチサイズを大きくすることで、平均遅延は11.5倍高速化された。
• バッチサイズ64を使用した場合、CHETと比較してスループットが最大11.5倍向上。HE暗号文スロットへの負荷分散が効果的に実現された。
• タイルテンソル抽象化により、標準化された形状表記を用いた一貫性のあるデバッグとエラー報告が可能になり、開発の複雑さが軽減された。
• 最適化ツールは、メモリ使用量とパフォーマンスのバランスを取る最適なパッキング構成を効果的に選択。初心者が採用しがちな非効率なレイアウトを回避した。
• クライアント支援計算を必要とせず、プライバシー規制下でも実用的・実装可能な状態でAlexNetのような大規模モデルの推論をサポート。