[論文レビュー] SARSA(0) Reinforcement Learning over Fully Homomorphic Encryption

Ji-Hoon Suh, Takashi Tanaka|arXiv (Cornell University)|Feb 2, 2020

Smart Grid Security and Resilience参考文献 20被引用数 4

ひとこと要約

本稿では、完全準同型暗号（FHE）を用いて、SARSA(0)価値関数の更新を安全にクラウドに外部委託するプライバシー保護型クラウドベースの強化学習フレームワークを提案する。FHEに起因する遅延に対処するため、ブロッキング機構を導入したSARSA(0)の変更により、ポールバランスタスクにおいて最小限の精度損失（0.0063%）で収束を達成した。これは、暗号化計算上でプライベートでオフラインの制御合成が可能であることを示している。

ABSTRACT

We consider a cloud-based control architecture in which the local plants outsource the control synthesis task to the cloud. In particular, we consider a cloud-based reinforcement learning (RL), where updating the value function is outsourced to the cloud. To achieve confidentiality, we implement computations over Fully Homomorphic Encryption (FHE). We use a CKKS encryption scheme and a modified SARSA(0) reinforcement learning to incorporate the encryption-induced delays. We then give a convergence result for the delayed updated rule of SARSA(0) with a blocking mechanism. We finally present a numerical demonstration via implementing on a classical pole-balancing problem.

研究の動機と目的

• 強化学習による制御合成をクラウドに安全に外部委託しつつ、データ機密性を維持すること。
• FHEに起因する暗号化遅延に対処するため、ブロッキング状態機構を導入したSARSA(0)アルゴリズムの修正。
• CKKS FHEスキーム上でSARSA(0)を実装する際の精度劣化を最小限に抑えた実装の妥当性を示すこと。
• 提案されたブロッキング機構に基づく遅延付き更新ルールの収束解析を提供すること。
• 古典的制御問題（逆ピストン）を用いて、実用的適用性を検証すること。

提案手法

• 同型暗号操作に起因する遅延に対処するため、ブロッキング状態機構を備えた変更版SARSA(0)を採用。
• CKKS FHEスキームを用いて、暗号化された状態-行動価値行列における近似算術を可能にした。
• クライアント側でQ値の符号化、暗号化、復号化を実装し、クラウド側で同型演算を実行。
• バッチ更新を、暗号化データ上で同型加算、乗算、再線形化、再スケーリングを用いて実施。
• 早期更新を防ぎ、遅延計算下でも収束を保証するためのブロッキングプロトコルを導入。
• 性能と精度の評価を目的として、古典的ポールバランス問題に本手法を適用。

実験結果

リサーチクエスチョン

• RQ1 SARSA(0)強化学習を完全準同型暗号（FHE）を用いてクラウドに安全に外部委託できるか？
• RQ2 FHEに起因する遅延はSARSA(0)の収束にどのように影響するか。また、その影響を軽減できるか？
• RQ3 SARSA(0)にCKKS暗号化を適用した場合、Q値の更新における精度損失はどの程度か？
• RQ4 ブロッキング状態を備えた修正版SARSA(0)は、遅延付きの暗号化更新下でも収束を達成できるか？
• RQ5 提案されたフレームワークは、プライバシーが重要な応用分野におけるオフライン制御合成に適しているか？

主な発見

• ブロッキング状態を備えた修正版SARSA(0)は、暗号化に起因する遅延があっても収束を達成し、理論的収束結果の妥当性を検証した。
• Q値の更新における最大精度誤差はわずか0.0063%にとどまり、学習精度への影響は無視できるほど小さい。
• 与えられたCKKSパラメータ下で、クラウド側の計算時間は最大4096回の演算まで安定しており、より大きな状態-行動空間へのスケーラビリティを示した。
• クライアント側の処理、特に符号化と暗号化が、同型演算全体の63%を占めており、性能の主なボトルネックであることが判明した。
• シミュレーションにおいてポールバランスが正常に達成されたことから、プライベートでクラウドベースの制御合成が可能であることを確認した。
• 本フレームワークは、プライバシーが最重要視される状況で、リアルタイム制約が緩いオフラインまたは変化が遅い制御合成に最適である。