[논문 리뷰] Privacy-Preserving Distributed Projection LMS for Linear Multitask Networks

Chengcheng Wang, Wee Peng Tay외 2명|arXiv (Cornell University)|2020. 10. 12.

Indoor and Outdoor Localization Technologies참고 문헌 66인용 수 6

한 줄 요약

이 논문은 선형 다중작업 네트워크를 위한 프라이버시 보장 분산 투영 최소 평균 제곱(LMS) 알고리즘을 제안한다. 여기서 에이전트들은 중간 추정치를 공유하기 전에 적응형, 평균이 0인 노이즈를 추가하여 국소 파라미터를 보호한다. 이 방법은 네트워크 평균 제곱 편차(MSD)와 추론 프라이버시 사이의 트레이드오프를 최적화하여 정확도 손실을 최소화하면서도 프라이버시를 향상시키며, 특히 밀도가 높은 네트워크에서 뛰어난 성능을 보인다.

ABSTRACT

We develop a privacy-preserving distributed projection least mean squares (LMS) strategy over linear multitask networks, where agents' local parameters of interest or tasks are linearly related. Each agent is interested in not only improving its local inference performance via in-network cooperation with neighboring agents, but also protecting its own individual task against privacy leakage. In our proposed strategy, at each time instant, each agent sends a noisy estimate, which is its local intermediate estimate corrupted by a zero-mean additive noise, to its neighboring agents. We derive a sufficient condition to determine the amount of noise to add to each agent's intermediate estimate to achieve an optimal trade-off between the network mean-square-deviation and an inference privacy constraint. We propose a distributed and adaptive strategy to compute the additive noise powers, and study the mean and mean-square behaviors and privacy-preserving performance of the proposed strategy. Simulation results demonstrate that our strategy is able to balance the trade-off between estimation accuracy and privacy preservation.

연구 동기 및 목표

• 분산 다중작업 네트워크에서 개인 에이전트의 국소 파라미터가 프라이버시 泄露되는 것을 방지하는 문제에 대응하기 위해.
• 네트워크 내 협업을 가능하게 하면서도 추론 프라이버시를 유지하는 분산 전략을 개발하기 위해.
• 네트워크 MSD로 측정되는 추정 정확도와 이웃의 국소 파라미터 추정 오차로 측정되는 프라이버시 보호 사이의 균형을 이루기 위해.
• 각 에이전트의 공분산 행렬에 맞게 시간에 따라 변화하는 노이즈 전력의 분산적이고 적응형 메커니즘을 설계하기 위해.

제안 방법

• 에이전트들은 중간 추정치에 노이즈를 추가하여 전송하며, 이 노이즈는 평균이 0이어야 하며 국소 추정치에 추가된 후 전송된다.
• 각 에이전트의 노이즈 전력은 그의 국소 공분산 행렬과 프라이버시 임계값 δk에 기반하여 적응적으로 계산된다.
• 네트워크 MSD의 열악한 영향을 최소화하면서도 프라이버시 제약 조건을 충족시키기 위한 충분조건이 도출된다.
• 각 에이전트에서 최적의 노이즈 분산을 결정하기 위해 유틸리티-프라이버시 최적화 프레임워크를 사용한다.
• 이 방법은 완전히 분산적이고 적응형이며, 중앙 집중적 조율나라 전역 네트워크 통계에 대한 사전 지식이 필요하지 않다.
• 이론적 분석에는 평균 및 평균 제곱 행동 분석과 함께, 프라이버시 보존 성능 평가가 포함된다.

실험 결과

연구 질문

• RQ1 다중작업 네트워크의 에이전트들은 협업을 통해 추정 정확도를 향상시키면서도, 이웃에 의한 추론 공격으로부터 자신의 개별 작업을 어떻게 보호할 수 있는가?
• RQ2 추정 정확도(MSD)와 추론 프라이버시 사이의 균형을 이루기 위해 최적의 추가 노이즈 양은 무엇인가?
• RQ3 전역 지식 없이 각 에이전트에서 어떻게 분산적이고 적응적으로 노이즈 전력을 계산할 수 있는가?
• RQ4 다양한 네트워크 구조(예: 선형 네트워크와 밀도 높은 네트워크)에서 제안된 전략의 성능은 어떻게 달라지는가?
• RQ5 신호 대 잡음비(SNR)의 변화와 같은 기저 파라미터 통계의 변화를 알고리즘이 시간에 따라 추적할 수 있는가?

주요 결과

• 제안된 ATP(δ) 알고리즘은 밀도가 높은 네트워크에서 특히 뛰어난 프라이버시 성과를 달성하면서 네트워크 MSD의 증가 폭이 미미하다.
• 밀도가 높은 네트워크에서는 프라이버시 성과 대비 정확도 손실 비율이 0.86으로 나타나, 선형 네트워크의 0.09와 비교해 훨씬 뛰어난 프라이버시 효율성을 보였다.
• SNR이 i=75 시점에서 증가함에 따라 공분산 행렬 Wkk의 변화를 성공적으로 추적하며, 이에 따라 노이즈 전력도 적응적으로 조정되었다.
• 두 번째 단계에서 더 높은 노이즈 전력으로 인해 네트워크 MSD가 증가했으며, 이는 적응형 노이즈 메커니즘과 일치하는 결과였다.
• 추적 단계 동안 네트워크 추론 프라이버시 오차는 안정적이고 낮은 수준을 유지하여 지속적인 프라이버시 보호가 확인되었다.
• 이론적 분석을 통해 노이즈 전력에 대한 충분조건이 프라이버시 제약 조건과 유한한 추정 오차를 동시에 보장함을 확인하였다.