[論文レビュー] Privacy-preserving machine learning with tensor networks

Alejandro Pozas-Kerstjens, Senaida Hernández-Santana+5 more|arXiv (Cornell University)|Feb 24, 2022

Quantum many-body systems被引用数 5

ひとこと要約

本稿では、機械学習における従来のニューラルネットワークの代替手段として、特に行列積状態（MPS）を含むテンソルネットワークアーキテクチャを、プライバシー保護の観点から提案する。新たな正規形を用いることで残留ゲージ自由度を排除し、予測性能を損なわず、攻撃者がモデルパラメータから関係のない訓練データの特徴を推測するリスクを顕著に低減する。

ABSTRACT

Tensor networks, widely used for providing efficient representations of low-energy states of local quantum many-body systems, have been recently proposed as machine learning architectures which could present advantages with respect to traditional ones. In this work we show that tensor network architectures have especially prospective properties for privacy-preserving machine learning, which is important in tasks such as the processing of medical records. First, we describe a new privacy vulnerability that is present in feedforward neural networks, illustrating it in synthetic and real-world datasets. Then, we develop well-defined conditions to guarantee robustness to such vulnerability, which involve the characterization of models equivalent under gauge symmetry. We rigorously prove that such conditions are satisfied by tensor-network architectures. In doing so, we define a novel canonical form for matrix product states, which has a high degree of regularity and fixes the residual gauge that is left in the canonical forms based on singular value decompositions. We supplement the analytical findings with practical examples where matrix product states are trained on datasets of medical records, which show large reductions on the probability of an attacker extracting information about the training dataset from the model's parameters. Given the growing expertise in training tensor-network architectures, these results imply that one may not have to be forced to make a choice between accuracy in prediction and ensuring the privacy of the information processed.

研究の動機と目的

• フィードフォワードニューラルネットワークにおけるプライバシーの脆弱性を特定・分析する。この脆弱性とは、関係のない訓練データの特徴（例えば、予測に寄与しない変数のクラス不均衡）が、モデルパラメータから推測可能になることである。
• ゲージ対称性とモデルの同値性に基づき、このようなプライバシー漏洩に対する耐性を保証する形式的条件を確立する。
• 特に行列積状態（MPS）を含むテンソルネットワークアーキテクチャが、これらのプライバシー保護条件を本質的に満たしていることを示す。
• 残留ゲージ自由度を完全に排除するMPSの新しい正規形を導入し、正則性とプライバシーの両方を向上させる。
• 実際の医療データセットを用いて、MPSと標準ニューラルネットワークの間でプライバシー上の利点を実証的に検証する。

提案手法

• 著者らは、パラメータの更新が、予測に寄与しない変数におけるクラス不均衡といった関係のないデータ特徴を意図せずエンコードするため、ニューラルネットワークにプライバシーの脆弱性が生じることを特定した。
• ゲージ対称性の下でのモデル同値パラメータ集合の特徴付けに基づき、パラメータ変更が訓練データの構造を露呈しない条件を形式的に定式化した。
• 従来のSVDに基づく正規形とは異なり、残留ゲージ自由度を完全に固定する、MPSのための新しい正規形を構築した。
• カテゴリカル入力に対して、ニューラルネットワークで一般的に用いられるワンホットエンコーディングとは異なるノイズを含むエンコーディング方式を採用し、MPSモデルを訓練した。
• ニューラルネットワークとMPSモデルの両方に対してホワイトボックスシャロウ攻撃を実施した。ニューラルネットワークでは、フラット化された重みを入力としてロジスティック回帰モデルを学習した。MPSでは、正規化されたモデルパラメータを入力として、深層フィードフォワードネットワークを学習し、関係のない特徴の多数クラスを予測した。
• 実験では、200のデータセットからなる20,000の訓練済みモデルを用い、関係のない特徴に多数クラスの割合が変動する設定とした。攻撃者には80のデータセットを訓練に、20をテストに提供した。

実験結果

リサーチクエスチョン

• RQ1 標準的なフィードフォワードニューラルネットワークのパラメータから、関係のない訓練データの特徴（例えば、予測に寄与しない変数のクラス不均衡）を推測できるか？
• RQ2 モデルパラメータが関係のない訓練データ特徴の情報を漏洩させないための数学的条件は何か？
• RQ3 テンソルネットワークアーキテクチャ、特に行列積状態（MPS）は、これらのプライバシー保護条件を本質的に満たしているか？
• RQ4 残留ゲージ自由度を完全に排除し、プライバシーを強化できるMPSの新しい正規形を構築できるか？
• RQ5 MPSモデルは、標準ニューラルネットワークと比較して、シャロウ攻撃の成功確率をどの程度低減するか？

主な発見

• 提案されたMPSの正規形は、残留ゲージ自由度を完全に排除し、SVDに基づく形式よりもより正則でプライバシー保護に優れたパラメータ化を実現した。
• 実験ではSVDに基づく正規形を用いても、MPSモデルは標準ニューラルネットワークと比較して、シャロウ攻撃の成功確率が顕著に低減した。
• 実験の結果、ニューラルネットワークでは関係のない特徴の不均衡を推測する攻撃の成功率が高かったが、MPSモデルではその漏洩が大幅に低減した。
• 結果から、MPSモデルは、モデルパラメータから関係のない訓練データ特徴の情報を抽出しようとするホワイトボックス攻撃に対して、耐性を示していることが示された。
• 本研究は、プライバシーと予測精度が、MPSモデルでは両立可能であることを示しており、プライバシー機構がモデル性能を低下させないことを裏付けた。
• これらの発見は、ノイズ注入ではなく構造的不変性に基づくプライバシー実現を可能にする、数学的に根拠のある代替手法としてテンソルネットワークの有効性を示唆している。