[論文レビュー] NASS: Optimizing Secure Inference via Neural Architecture Search

Song Bian, Weiwen Jiang+3 more|arXiv (Cornell University)|Jan 30, 2020

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

NASSは、神経ネットワークアーキテクチャと同型暗号化パラメータを同時に最適化するニューラルアーキテクチャ探索（NAS）フレームワークを提案する。強化学習ベースの探索エンジン内で暗号化プリミティブをチューナブルな設計要素としてモデル化することで、CIFAR-10で84.6%の精度を達成し、先行研究と比較して推論速度が2倍速くなり、帯域幅が1.9倍削減された。

ABSTRACT

Due to increasing privacy concerns, neural network (NN) based secure inference (SI) schemes that simultaneously hide the client inputs and server models attract major research interests. While existing works focused on developing secure protocols for NN-based SI, in this work, we take a different approach. We propose NASS, an integrated framework to search for tailored NN architectures designed specifically for SI. In particular, we propose to model cryptographic protocols as design elements with associated reward functions. The characterized models are then adopted in a joint optimization with predicted hyperparameters in identifying the best NN architectures that balance prediction accuracy and execution efficiency. In the experiment, it is demonstrated that we can achieve the best of both worlds by using NASS, where the prediction accuracy can be improved from 81.6% to 84.6%, while the inference runtime is reduced by 2x and communication bandwidth by 1.9x on the CIFAR-10 dataset.

研究の動機と目的

• 固定で手動で設計されたニューラルアーキテクチャが引き起こす性能ボトルネックを解消すること。
• 暗号化プロトコルパラメータ（例：同型暗号化）をニューラルアーキテクチャ探索における第一級の設計要素として統合すること。
• 安全な推論ワークロードにおいて、予測精度と実行効率（推論時間、帯域幅）を同時に最適化すること。
• 従来の最適化手法を阻害する暗号化プリミティブの非線形的性能特性を克服すること。
• 暗号的制約に適合したアーキテクチャ設計を探索することで、安全な推論のパレート最適フロンティアを押し広げること。

提案手法

• 計算コストと通信コストのプロファイルを有する、パッケージド同型暗号化（PAHE）やガーブルドサーキットなどの暗号化プリミティブを、設定可能な設計要素としてモデル化する。
• 予測精度と効率指標（推論時間、帯域幅）を組み合わせた報酬関数を定義し、探索を誘導する。
• 強化学習ベースのNASエンジンを用いて、報酬関数からのフィードバックに基づき新しいニューラルアーキテクチャを生成・評価する。
• 量子化レベル、フィルターサイズ、レイヤー構成が安全な推論性能に与える影響を体系的に分析する。
• LWEパラメータなどのHEパラメータを探索空間に統合し、アーキテクチャ選択と同時に最適化可能なハイパーパrameterとして扱う。
• 畳み込み層、ReLU活性化関数、プーリング層、全結合層を含む探索空間を構築し、カーネルサイズ、フィルタ数、量子化係数を変動可能とする。

実験結果

リサーチクエスチョン

• RQ1 複雑な暗号化プリミティブを含む安全な推論ワークロードに対して、ニューラルアーキテクチャ探索が効果的に適用可能か。
• RQ2 同型暗号化の非線形的性能特性が、安全な推論における精度と効率のトレードオフにどのように影響するか。
• RQ3 ニューラルアーキテクチャと暗号化パラメータを同時に最適化することで、手動設計や個別パラメータチューニングに比べてより優れたパレート最適解が得られるか。
• RQ4 アーキテクチャ探索によって、精度と効率の両方を同時に改善できる程度はどの程度か。トレードオフを避けられるか。
• RQ5 暗号的制約下で安全な推論モデルを探す際、どのようなアーキテクチャパターンが出現するか。

主な発見

• NASSはCIFAR-10で84.6%の予測精度を達成し、先行研究の最良水準81.6%から3ポイント向上した。
• 最良のNASSアーキテクチャは、ベースラインのGazelleアーキテクチャと比較して、推論時間を2倍速く（8.0秒から1.62秒）、通信帯域幅を1.9倍削減した（1.815 GBから977 MB）。
• NASSが生成したアーキテクチャは、6層ではなく5層の畳み込み層のみで構成されており、精度を損なわず構造的効率性の向上を実現した。
• CIFAR-Perアーキテクチャは、82.6%の精度を達成し、推論時間5.1秒、帯域幅582 MBであった。精度を多少緩和することで、さらなる性能向上が可能であることを示した。
• 本稿のパレートフロンティア図から明らかになったように、NASSフレームワークは、安全な推論の極めて非線形な性能空間を的確に学習した。
• 30秒以上を要する最近の85%精度の手法よりも、NASSは同じ精度水準で4倍の高速化を達成した。