[論文レビュー] Expressive variational quantum circuits provide inherent privacy in federated learning

Niraj Kumar, Jamie Heredge+4 more|arXiv (Cornell University)|Sep 22, 2023

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿では、高周波数のフーリエ成分を有する表現力のある変分量子回路（VQC）を用いた、勾配の逆転攻撃に対して本質的に耐性を持つ量子フェデレーテッドラーニングフレームワークを提案する。過剰パラメータ化されたアーサーと表現力のあるデータ符号化を活用することで、クライアントのデータが勾配空間において高次元の多変数チェビシェフ多項式に変換され、攻撃者にとって指数的につらくなる最適化問題が生じる。これにより、追加のノイズやマスキングを用いずに、本質的なプライバシー保護が実現される。

ABSTRACT

Federated learning has emerged as a viable distributed solution to train machine learning models without the actual need to share data with the central aggregator. However, standard neural network-based federated learning models have been shown to be susceptible to data leakage from the gradients shared with the server. In this work, we introduce federated learning with variational quantum circuit model built using expressive encoding maps coupled with overparameterized ansätze. We show that expressive maps lead to inherent privacy against gradient inversion attacks, while overparameterization ensures model trainability. Our privacy framework centers on the complexity of solving the system of high-degree multivariate Chebyshev polynomials generated by the gradients of quantum circuit. We present compelling arguments highlighting the inherent difficulty in solving these equations, both in exact and approximate scenarios. Additionally, we delve into machine learning-based attack strategies and establish a direct connection between overparameterization in the original federated learning model and underparameterization in the attack model. Furthermore, we provide numerical scaling arguments showcasing that underparameterization of the expressive map in the attack model leads to the loss landscape being swamped with exponentially many spurious local minima points, thus making it extremely hard to realize a successful attack. This provides a strong claim, for the first time, that the nature of quantum machine learning models inherently helps prevent data leakage in federated learning.

研究の動機と目的

• 勾配の逆転攻撃によって機密なクライアントデータが漏洩する可能性がある古典的フェデレーテッドラーニングにおける深刻なプライバシー脆弱性に対処すること。
• 特に変分量子回路を含む量子機械学習モデルが、勾配ノイズやマスキングといったヒューリスティックな防御に依存せずに、本質的なプライバシーを提供できるかどうかを検討すること。
• 量子回路の表現力、特に高周波数のフーリエ成分がフェデレーテッドトレーニング中のプライバシー強化に果たす役割を調査すること。
• フェデレーテッドラーニングモデルの過剰パラメータ化と攻撃モデルの不足パラメータ化が、データプライバシー保護に寄与する根本的な非対称性を生み出すことのメカニズムを明らかにすること。
• 高次元のチェビシェフ多項式系から導出される量子勾配の逆問題を解くことが、機械学習ベースの攻撃に対しても指数的につらくなるという理論的・実験的証拠を提供すること。

提案手法

• 古典的データを高次元ヒルベルト空間に写像する表現力のある符号化マップを有する変分量子回路（VQC）を採用し、非退化した多数のフーリエ周波数を持つモデルを構築する。
• アーサーを過剰パラメータ化することでフェデレーテッドラーニングモデルの学習可能性を保証するとともに、特徴マップの高い表現力を維持する。
• 勾配の逆転攻撃を、量子回路のパラメータシフト則から導出される高次元多変数チェビシェフ多項式系の解法としてモデル化する。
• これらの多項式系を正確におよび近似的に解く計算の難易度を解析し、キュービット数の増加に伴い指数的増加を示すことを示す。
• 入力変数において不足パラメータ化された攻撃モデルと、パrameterにおいて過剰パラメータ化されたFLモデルの損失関数の形状を比較する数値シミュレーションを実施し、攻撃モデルにおいてスパuriousな局所最適解が指数的に増加することを示す。
• 2および4キュービットの単変数量子モデルを用いて、データ回復攻撃をシミュレートし、高周波数成分を保持するモデルが高周波数成分を維持するため、プライバシーを保つことを示す。

実験結果

リサーチクエスチョン

• RQ1 表現力のある変分量子回路がフェデレーテッドラーニングにおいて、追加のプライバシー機構を用いずに、共有勾配からのデータ漏洩を本質的に防げるか？
• RQ2 特に量子回路に高周波数のフーリエ表現力がある場合、量子フェデレーテッドラーニングにおける勾配からクライアント入力を回復する計算の複雑さはどの程度か？
• RQ3 フェデレーテッドラーニングモデルにおける過剰パラメータ化と攻撃モデルにおける不足パラメータ化の差が、勾配の逆転攻撃の成功可能性にどのように影響するか？
• RQ4 量子特徴マップに含まれる高周波数成分が、フェデレーテッドラーニングにおけるプライバシーの強靭性にどの程度貢献するか？
• RQ5 量子回路の構造、特にその多項式的勾配挙動を活用することで、攻撃者に対して証明可能な難解な逆問題を構築できるか？

主な発見

• 高周波数のフーリエ成分を有する表現力のある量子回路は、勾配が高次元多変数チェビシェフ多項式に対応するように生成され、逆問題を解くことが指数的に困難になる。
• 理論的解析により、量子勾配から導出される方程式系を正確におよび近似的に解くことは、キュービット数の増加に伴い指数的増加する項数のため、実行不可能であることが示された。
• 数値的シミュレーションにより、攻撃モデルが入力変数において不足パラメータ化されている場合、損失関数の形状が指数的に多数のスパuriousな局所最適解に支配され、最適化とデータ回復が著しく阻害されることを確認した。
• これに対して、アーサーの過剰パラメータ化によりフェデレーテッドラーニングモデルは学習可能であり、高い表現力がモデル性能に悪影響を及えないことが保証された。
• 4キュービットモデルは、低周波数の信号に適合する際でさえも、ターゲット関数の高周波数成分を保持するのに対し、2キュービットモデルはそのような成分を抑制し、プライバシーが低下する。
• 量子モデルの出力において高周波数項が保持されることにより、勾配情報は複雑かつ逆転不能となり、フェデレーテッドラーニングにおける本質的プライバシーの強固な基盤が確保された。