[論文レビュー] CryptoGCN: Fast and Scalable Homomorphically Encrypted Graph Convolutional Network Inference

Ran Ran, Nuo Xu+4 more|arXiv (Cornell University)|Sep 24, 2022

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

CryptoGCN は、隣接行列に配慮した（AMA）データフォーマットとスパarsityに配慮した最適化を活用することで、プライバシー保護型グラフ畳み込みネットワーク（GCN）推論のための高速でスケーラブルな同型暗号化フレームワークである。この手法により、同型暗号化操作を 77.4% 減少させ、NTU-XVIEW データセットで 1–1.5% の精度損失で最大 3.10× の遅延高速化を達成した。

ABSTRACT

Recently cloud-based graph convolutional network (GCN) has demonstrated great success and potential in many privacy-sensitive applications such as personal healthcare and financial systems. Despite its high inference accuracy and performance on cloud, maintaining data privacy in GCN inference, which is of paramount importance to these practical applications, remains largely unexplored. In this paper, we take an initial attempt towards this and develop $ extit{CryptoGCN}$--a homomorphic encryption (HE) based GCN inference framework. A key to the success of our approach is to reduce the tremendous computational overhead for HE operations, which can be orders of magnitude higher than its counterparts in the plaintext space. To this end, we develop an approach that can effectively take advantage of the sparsity of matrix operations in GCN inference to significantly reduce the computational overhead. Specifically, we propose a novel AMA data formatting method and associated spatial convolution methods, which can exploit the complex graph structure and perform efficient matrix-matrix multiplication in HE computation and thus greatly reduce the HE operations. We also develop a co-optimization framework that can explore the trade offs among the accuracy, security level, and computational overhead by judicious pruning and polynomial approximation of activation module in GCNs. Based on the NTU-XVIEW skeleton joint dataset, i.e., the largest dataset evaluated homomorphically by far as we are aware of, our experimental results demonstrate that $ extit{CryptoGCN}$ outperforms state-of-the-art solutions in terms of the latency and number of homomorphic operations, i.e., achieving as much as a 3.10$ imes$ speedup on latency and reduces the total Homomorphic Operation Count by 77.4\% with a small accuracy loss of 1-1.5$\%$.

研究の動機と目的

• グラフ畳み込みにおける行列乗算に起因する、同型暗号化（HE）ベースの GCN 推論における高い計算オーバーヘッドという重要な課題に対処すること。
• CNN に最適化された既存の HE フレームワークが、GCN に特有の計算パターンに対し効果を発揮しないという限界を克服すること。
• GCN 推論における同型暗号化操作数（HOC）と遅延を低減しつつ、妥当な精度とセキュリティ水準を維持すること。
• 性能に悪影響を及げることなく、プライバシーが重要なグラフデータ（例：人の行動認識データセット）に対して、HE を用いたプライベートな推論を可能にすること。
• 活性化モジュールにおけるモデルのプルーニングと多項式近似を活用して、セキュリティ、精度、計算コストのトレードオフを最適化すること。

提案手法

• GCN 行列演算におけるスパarsityを活用し、同型暗号化操作を最小限に抑えるために、グラフ特徴マップを再編成する新規の隣接行列に配慮した（AMA）データフォーマット技術を提案する。
• グラフ構造に適合するパターン化されたスパース行列パーティショニング戦略を設計し、行列同士の乗算中に冗長な HE 操作を低減する。
• CKKS 同型暗号化を用いて暗号文パッケージングを実装し、スロットの利用効率を最大化し、ミニバッチ across での並列性を向上させる。
• 活性化層のプルーニングと非線形関数の低次多項式による近似を活用して、精度、セキュリティ水準、計算コストのバランスを取る共同最適化フレームワークを実装する。
• 空間的・時間的 GCN（例：ST-GCN）に内在するスパarsityを活用し、内部ループにおける不要な同型暗号化乗算および加算を回避する。
• 複数のサンプルを1つの暗号文で処理するバッチ暗号化を活用し、バッチサイズが増加するに従い並列性を向上させ、1サンプルあたりの遅延を低減する。

実験結果

リサーチクエスチョン

• RQ1 同型暗号化操作のコストが非常に高いにもかかわらず、GCN 推論における同型暗号化の計算オーバーヘッドをどのように大幅に低減できるか？
• RQ2 隣接行列および特徴マップのスパarsityは、GCN レイヤーにおける同型暗号化操作の最小化にどの程度活用可能か？
• RQ3 AMA のようなカスタムデータフォーマットは、標準的な行優先フォーマットに比べ、HE 操作数と推論遅延の点で優れているか？
• RQ4 HE ベースの推論に最適化された GCN アーキテクチャを最適化する際、モデルの精度、セキュリティ水準、計算コストの間にはどのようなトレードオフが生じるか？
• RQ5 提案されたフレームワークは、過去の研究と比較して、同型暗号化操作数を桁違いに低減させつつ、大規模な GCN 推論（例：NTU-XVIEW データセット）を可能にするか？

主な発見

• 64-STGCN-3 モデルにおいて、最先端の HE ベースのフレームワーク（CHET や Fast-HEAR）と比較して、CryptoGCN は合計の同型暗号化操作数（HOC）を 77.4% 減少させた。
• バッチサイズが 1 から 16 に増加する際、平均遅延で最大 3.10× の高速化を達成し、優れたスケーラビリティを示した。
• バッチサイズ 16 の場合、CryptoGCN の平均遅延は 908.45 秒であり、行優先フォーマットの 45,179.33 秒と比較して 3.10× の改善を達成した。
• AMA フォーマットにより、マルチチャネル畳み込みにおいて PMult および Add 操作を 52.5%–66.2% 減少させ、不要な内部ループ操作を排除した。
• 1つの活性化層をプルーニングし、多項式近似を適用することで、CMult 操作を 40%–50% 減少させ、さらに計算コストを削減した。
• これまでに同型暗号化された状態で評価された中で最大の NTU-XVIEW データセットにおいて、CryptoGCN はわずか 1–1.5% の精度損失でプライベートな推論を実現し、実用的な妥当性を示した。