[論文レビュー] HyPHEN: A Hybrid Packing Method and Optimizations for Homomorphic Encryption-Based Neural Networks

Dong-Hwan Kim, Jaiyoung Park+3 more|arXiv (Cornell University)|Feb 5, 2023

Cryptography and Data Security被引用数 4

ひとこと要約

HyPHENは、FHEベースのCNN推論における同型演算の大幅な削減を実現するハイブリッドパッキング手法と最適化された畳み込みアルゴリズム（RAConvおよびCAConv）を提案する。多様なデータフォーマットのサポートと、高コストな回転演算およびメモリの肥大化の最小化により、CIFAR-10（ResNet-20）の推論が1.4秒で実現され、ResNet-18を用いた初めてのImageNet推論（14.7秒）を可能にした。

ABSTRACT

Convolutional neural network (CNN) inference using fully homomorphic encryption (FHE) is a promising private inference (PI) solution due to the capability of FHE that enables offloading the whole computation process to the server while protecting the privacy of sensitive user data. Prior FHE-based CNN (HCNN) work has demonstrated the feasibility of constructing deep neural network architectures such as ResNet using FHE. Despite these advancements, HCNN still faces significant challenges in practicality due to the high computational and memory overhead. To overcome these limitations, we present HyPHEN, a deep HCNN construction that incorporates novel convolution algorithms (RAConv and CAConv), data packing methods (2D gap packing and PRCR scheme), and optimization techniques tailored to HCNN construction. Such enhancements enable HyPHEN to substantially reduce the memory footprint and the number of expensive homomorphic operations, such as ciphertext rotation and bootstrapping. As a result, HyPHEN brings the latency of HCNN CIFAR-10 inference down to a practical level at 1.4 seconds (ResNet-20) and demonstrates HCNN ImageNet inference for the first time at 14.7 seconds (ResNet-18).

研究の動機と目的

• FHEベースのCNN推論（HCNN）における高い計算およびメモリオーバーヘッドを解消し、実用的導入を可能にする。
• 推論中に高コストな同型演算（特に暗号化された回転およびブートストラップ）の数を削減する。
• 特に高解像度画像や大規模モデル（ResNet-18やResNet-50）において顕著な平文重み拡張に起因するメモリフットプリントの最小化。
• データパッキングおよび畳み込みアルゴリズムの最適化を通じて、実世界のデータセット（例：ImageNet）における実用的で低遅延のプライベート推論を実現する。
• 通信量を短く保ちつつ、サーバー側の計算を完全にオフロードし、モデルの機密性を維持するエンドツーエンドのプライベート推論を達成する。

提案手法

• 異なるデータフォーマットに適応可能な多様性を持つFHE畳み込みアルゴリズム（RAConvおよびCAConv）を導入し、高コストな暗号化された回転に依存するのを低減する。
• ストライド付き畳み込みによって生じる空間的ギャップを効率的に管理する2Dギャップパッキングを開発し、データ再編成時の回転オーバーヘッドを最小化する。
• 重み要素の重複コピーを削除するためのPRCR（Packing with Reuse of Ciphertext Rows）方式を提案し、特に大規模モデル（ResNet-50など）において平文メモリフットプリントの削減に寄与する。
• 各層ごとにデータフォーマット（例：密実装、行単位、セグメント化）を動的に選択可能なハイブリッドデータパッキング戦略を採用し、データ再配置コストを最小化する。
• ReLUの低次多項式近似（AESPAからの借用）を活用し、活性化計算コストを低減し、高コストな同型演算を回避する。
• 入力画像を行単位のセグメントに分割することで、データレイアウトと重み再利用を最適化し、重みサイズをセグメント寸法に一致させ、メモリ拡張を低減する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドパッキング手法は、FHEベースのCNN推論中に必要な同型回転の回数を削減できるか？
• RQ2 異なるデータフォーマットに適応可能な多様性を持つ畳み込みアルゴリズムを設計することで、データ再配置コストを最小化できるか？
• RQ3 重みの平文レイアウトと再利用戦略を再考することで、FHEベースのCNNにおけるメモリフットプリントをどの程度まで低減できるか？
• RQ4 最適化されたパッキング、畳み込み、活性化手法の組み合わせにより、ImageNet上での大規模モデル（ResNet-18）における実用的推論時間の達成が可能か？
• RQ5 データフォーマットの一貫性と動的フォーマット切り替えが、HCNN推論全体のパフォーマンスに与える影響は何か？

主な発見

• HyPHENは、GPU上でのCIFAR-10（ResNet-20）推論遅延を1.40秒にまで低減し、先行研究比で2.15倍の高速化を達成した。
• ResNet-18を用いたImageNetにおけるエンドツーエンドのFHEベース推論が初めて実現され、14.69秒で実行された。これは、実世界のデータセットへのスケーラビリティを示している。
• PRCR方式により、重みごとの重複コピーが排除され、特にResNet-50のような大規模モデルにおいて顕著なメモリフットプリント削減が達成された。
• RAConvおよびCAConvは、層間のデータフォーマット変換（IR）に起因する必要のない回転と、チャネル合計（RaS）に起因する回転の回数を削減することで、同型回転の回数を削減した。
• CPU上でも、HyPHENはResNet-20およびResNet-18の両方で、先行研究比で1.83倍および2.15倍の低遅延を達成した。
• 2Dギャップ処理を備えたハイブリッドパッキング手法により、ストライド付き特徴マップ上での効率的な畳み込みが可能になり、回転コストを最小化するとともに、データ局所性を維持した。