[論文レビュー] Privacy-Preserving Distributed Projection LMS for Linear Multitask Networks

Chengcheng Wang, Wee Peng Tay+2 more|arXiv (Cornell University)|Oct 12, 2020

Indoor and Outdoor Localization Technologies参考文献 66被引用数 6

ひとこと要約

本稿では、線形マルチタスクネットワークにおけるプライバシー保護型分散投影最小分散乗数（LMS）アルゴリズムを提案する。エージェントは、共有前に中間推定値に適応的で平均がゼロのノイズを追加することで、局所的パラメータを保護する。この手法は、ネットワークの平均二乗偏差（MSD）と推論プライバシーの間でトレードオフを最適化し、特に密度の高いネットワークにおいて、精度の損失を最小限に抑えつつ、プライバシーを向上させる。

ABSTRACT

We develop a privacy-preserving distributed projection least mean squares (LMS) strategy over linear multitask networks, where agents' local parameters of interest or tasks are linearly related. Each agent is interested in not only improving its local inference performance via in-network cooperation with neighboring agents, but also protecting its own individual task against privacy leakage. In our proposed strategy, at each time instant, each agent sends a noisy estimate, which is its local intermediate estimate corrupted by a zero-mean additive noise, to its neighboring agents. We derive a sufficient condition to determine the amount of noise to add to each agent's intermediate estimate to achieve an optimal trade-off between the network mean-square-deviation and an inference privacy constraint. We propose a distributed and adaptive strategy to compute the additive noise powers, and study the mean and mean-square behaviors and privacy-preserving performance of the proposed strategy. Simulation results demonstrate that our strategy is able to balance the trade-off between estimation accuracy and privacy preservation.

研究の動機と目的

• 分散マルチタスクネットワークにおけるエージェントの個々の局所的パラメータが漏洩するのを防ぐ課題に対処すること。
• ネットワーク内での協調作業を可能にしつつ、推論プライバシーを保護する分散戦略を開発すること。
• 推定精度（ネットワークMSDで測定）とプライバシー保護（隣接エージェントによる局所的パラメータ推定誤差で測定）のバランスを取ること。
• 各エージェントの共分散行列に適合する時間変動するノイズ分散を分散的かつ適応的に計算するメカニズムを設計すること。

提案手法

• エージェントは、ノイズを含む中間推定値を共有し、ノイズは局所的推定値に追加された後、送信される。
• 各エージェントのノイズ分散は、その局所的共分散行列とプライバシー閾値δkに基づいて適応的に計算される。
• プライバシー制約を満たしつつ、ネットワークMSDの劣化を最小限に抑える十分条件が導出される。
• 各エージェントにおける最適なノイズ分散を決定するために、ユーティリティ-プライバシー最適化フレームワークが用いられる。
• この手法は完全に分散的かつ適応的であり、中央集権的制御やグローバルネットワーク統計の事前知識を必要としない。
• 理論的分析には、平均および平均二乗挙動、およびプライバシー保護性能の評価が含まれる。

実験結果

リサーチクエスチョン

• RQ1 マルチタスクネットワークのエージェントは、どのように協調することで推定精度を向上させつつ、隣接エージェントによる推論攻撃から個々のタスクを保護できるか？
• RQ2 推定精度（MSD）と推論プライバシーのバランスを取るために、最適な追加ノイズ量は何か？
• RQ3 グローバルな知識がなくとも、各エージェントでノイズ分散をどのように分散的かつ適応的に計算できるか？
• RQ4 異なるネットワークトポロジー（例：直線型ネットワークと密度の高いネットワーク）において、提案戦略の性能はどのように変化するか？
• RQ5 信号対雑音比（SNR）の変化など、基礎となるパrameter統計の変化を追跡できるか？

主な発見

• 提案されたATP(δ)アルゴリズムは、特に密度の高いネットワークにおいて、わずかなネットワークMSDの増加で顕著なプライバシー向上を達成する。
• 密度の高いネットワークでは、プライバシー利得対精度損失の比が0.86であるのに対し、直線型ネットワークでは0.09にとどまるため、より豊かなトポロジーにおいてプライバシー効率が優れていることが示された。
• SNRがi=75で上昇した際、共分散行列Wkkの変化を適切に追跡し、それに応じてノイズ分散を適応的に調整できた。
• 2番目の段階でノイズ分散が上昇したため、ネットワークMSDも上昇したが、これは適応的ノイズメカニズムと整合的であった。
• 追跡フェーズを通じて、ネットワーク推論プライバシー誤差は安定的かつ低く保たれ、継続的なプライバシー保護が確認された。
• 理論的分析により、ノイズ分散に関する十分条件が、プライバシー制約の満たされるとともに、推定誤差の有界性を保証することが確認された。