[論文レビュー] LinGCN: Structural Linearized Graph Convolutional Network for Homomorphically Encrypted Inference

Hongwu Peng, Ran Ran+9 more|arXiv (Cornell University)|Sep 25, 2023

Privacy-Preserving Technologies in Data被引用数 10

ひとこと要約

LinGCN は構造化されたノード単位の線形化と教師付き多項式置換を提案し、CKKSベースの暗号化 GCN 推論の乗算深さを削減。CryptoGCN と比較して競争力の精度を維持しつつ、レイテンシを大幅に高速化。

ABSTRACT

The growth of Graph Convolution Network (GCN) model sizes has revolutionized numerous applications, surpassing human performance in areas such as personal healthcare and financial systems. The deployment of GCNs in the cloud raises privacy concerns due to potential adversarial attacks on client data. To address security concerns, Privacy-Preserving Machine Learning (PPML) using Homomorphic Encryption (HE) secures sensitive client data. However, it introduces substantial computational overhead in practical applications. To tackle those challenges, we present LinGCN, a framework designed to reduce multiplication depth and optimize the performance of HE based GCN inference. LinGCN is structured around three key elements: (1) A differentiable structural linearization algorithm, complemented by a parameterized discrete indicator function, co-trained with model weights to meet the optimization goal. This strategy promotes fine-grained node-level non-linear location selection, resulting in a model with minimized multiplication depth. (2) A compact node-wise polynomial replacement policy with a second-order trainable activation function, steered towards superior convergence by a two-level distillation approach from an all-ReLU based teacher model. (3) an enhanced HE solution that enables finer-grained operator fusion for node-wise activation functions, further reducing multiplication level consumption in HE-based inference. Our experiments on the NTU-XVIEW skeleton joint dataset reveal that LinGCN excels in latency, accuracy, and scalability for homomorphically encrypted inference, outperforming solutions such as CryptoGCN. Remarkably, LinGCN achieves a 14.2x latency speedup relative to CryptoGCN, while preserving an inference accuracy of 75% and notably reducing multiplication depth.

研究の動機と目的

• クラウドベースの GCN 推論における HOMomorphic Encryption（HE）を用いたプライバシー問題に対処する。
• STGCN ベースのモデルにおける乗算深さと HE レイテンシを、大きな精度低下を伴わずに削減する。
• ノードごとの非線形位置選択のための微分可能な構造的線形化手法を導入する。
• ReLU 活性化を置換する教師付きノード単位の多項式置換を開発する。
• 演算子融合を用いた最適化された HE ワークフローを提供し、HE 計算深度をさらに削減する。

提案手法

• 補助パラメータ h_w を用いた微分可能な構造線形化と、ノードごとに同期した非線形削減を強制する構造的偏極アルゴリズム（アルゴリズム 1）。
• 学習目的は正確性損失と残りの非線形演算子に対する L0 ペナルティを結合し、勾配のためにストレートスルー推定（STE）で最適化（式 Eq. 3）。
• ノードごとに学習可能な多項式活性化 σ_n(x)=c·w2·x^2 + w1·x + b を、ReLU 教師モデルからの2段階蒸留を用いて訓練します（式 Eq. 4, Eq. 5）。
• 教師 ReLU モデルを用いた2段階蒸留で多項式学生を導き、損失には KL 散度と特徴マップ整合項を含みます（Eq. 5）。
• アルゴリズム 2 は LinGCN のワークフローを説明します：ReLU 教師を事前訓練し、構造的線形化を反復的に学習し、指標を凍結し、ReLU を多項式に置換し、最後に多項式訓練を実施します。
• 強化された HE ワークフローは、平文多項式ウェイトを畳み込み層に融合させることで、乗算深度を節約するためのより細かな演算子融合を実現します（AMA パッキングと融合フロー）。
• NTU-XView データを用いた CKKS ベースの暗号化 STGCN でエンドツーエンドの実現性を示し、より深いモデルでのスケーラビリティ検証を含む。）

実験結果

リサーチクエスチョン

• RQ1 構造化されたノード単位の線形化は、CKKS ベースの STGCN における乗算深さを、精度の大幅な低下を招かずに削減できるか？
• RQ2 教師付きノード単位の多項式置換は、プライベート GCN 推論における層単位の多項式戦略より優れているか？
• RQ3 スケルトンベースのアクション認識データで、CryptoGCN に対してどれくらいのレイテンシ改善が達成でき、許容できる精度を維持できるか？
• RQ4 HE 制約下で LinGCN はより深い STGCN アーキテクチャにどれだけスケール可能か？

主な発見

• LinGCN は CryptoGCN と同等の精度（約75%）を維持しつつ、最大で 14.2x のレイテンシ速度アップを達成。
• ノードワイズで同期した非線形削減を伴う構造的線形化は、HE レベルの消費を削減しつつ精度を維持。
• 蒸留を伴う教師付きノード単位の多項式置換は、層単位の多項式戦略と比較して収束を改善し、精度を維持または向上。
• NTU-XView における STGCN-3-128, STGCN-3-256, STGCN-6-256 の構成で競争力のある精度と大幅なレイテンシ削減を示し、深いモデルでは最大で 85.78% の精度と 6371.39s のレイテンシを記録。
• このアプローチは非線形レイヤー削減下でも精度を保持し、CryptoGCN に対してレイテンシ範囲全体で有利なパレートフロンティアを示します。