[논문 리뷰] Privacy-preserving Decentralized Optimization via Decomposition

Chunlei Zhang, Huan Gao외 1명|arXiv (Cornell University)|2018. 08. 28.

Distributed Control Multi-Agent Systems참고 문헌 30인용 수 6

한 줄 요약

이 논문은 프록시미티 제약 조건을 가진 자동으로 분해된 ADMM 프레임워크 내에서 함수 분해를 사용하여 기밀 보장된 분산 최적화 방법을 제안한다. 이는 노이즈나 암호화 없이도 정확한 수렴을 가능하게 하며, 정직하지만 호기심이 많은 공격자로부터 에이전트의 (부)기울기를 보호한다. 국소 목표 함수를 분해함으로써, 통신 중에 누출 없이도 기밀성을 확보하면서 알고리즘의 최적성과 낮은 계산 오버헤드를 유지한다.

ABSTRACT

This paper considers the problem of privacy-preservation in decentralized optimization, in which $N$ agents cooperatively minimize a global objective function that is the sum of $N$ local objective functions. We assume that each local objective function is private and only known to an individual agent. To cooperatively solve the problem, most existing decentralized optimization approaches require participating agents to exchange and disclose estimates to neighboring agents. However, this results in leakage of private information about local objective functions, which is undesirable when adversaries exist and try to steal information from participating agents. To address this issue, we propose a privacy-preserving decentralized optimization approach based on proximal Jacobian ADMM via function decomposition. Numerical simulations confirm the effectiveness of the proposed approach.

연구 동기 및 목표

• 협의 과정에서 에이전트들이 (부)기울기를 공유함으로써 발생하는 기밀 유출 문제를 해결하기 위해.
• 차별적 개인정보 보호 방법에서 내재된 기밀-정확도 상호 간의 상충 관계를 제거하기 위해.
• 암호화 기반 접근 방식의 높은 계산 및 통신 비용을 피하기 위해.
• 신뢰할 수 있는 제3자 또는 집계자에 의존하지 않고 기밀 보장을 가능하게 하기 위해.
• 정직하지만 호기심이 많은 공격자조차도 교환된 데이터로부터 기밀 (부)기울기를 유추할 수 없도록 보장하기 위해.

제안 방법

• 각 에이전트의 국소 목표 함수를 구성 요소 함수의 합으로 분해하여 원래 (부)기울기의 구조를 은폐한다.
• 분산 방식으로 분산 최적화 문제를 해결하기 위해 프록시미티 제약 조건이 있는 자동으로 분해된 ADMM 알고리즘을 사용한다.
• 각 에이전트는 원래 (부)기울기를 공유하지 않고, 목표 함수의 분해된 구성 요소만 교환한다.
• 이 분해 방식은 인접한 에이전트가 교환된 정보로부터 원래의 기밀 (부)기울기를 재구성할 수 없음을 보장한다.
• 표준 볼록성 가정 하에 알고리즘이 진짜 최적 해로 수렴함을 유지한다.
• 이론적 분석을 통해 다수의 반복 동안 모든 교환 메시지를 관찰하는 공격자도 기밀 (부)기울기를 유추할 수 없음을 입증한다.

실험 결과

연구 질문

• RQ1 기본 정확도에 영향을 주지 않으면서 분산 최적화를 기밀 보장 가능하게 만들 수 있는가?
• RQ2 노이즈나 암호화 없이도 기밀 보장을 유지할 수 있는가?
• RQ3 정직하지만 호기심이 많은 공격자가 다수의 반복 동안 교환된 메시지로부터 기밀 (부)기울기를 유추할 수 있는가?
• RQ4 함수 분해가 진짜 최적 해로의 수렴과 기밀 보장을 동시에 가능하게 하는가?
• RQ5 제안된 기밀 보장 방법의 계산 및 통신 오버헤드는 어떠한가?

주요 결과

• 제안된 방법은 진짜 최적 해 $[0.35; 0.45]$로 수렴하며 오차가 $5.1 \times 10^{-4}$ 이므로 높은 정확도를 확인한다.
• 수치 시뮬레이션 결과, 차별적 개인정보 보호 기반 접근 방식은 기밀과 정확도 사이에 본질적인 상충 관계를 보이며, 제안된 방법은 이를 피한다.
• 이 방법은 다수의 반복 동안 모든 교환 메시지를 관찰하는 정직하지만 호기심이 많은 공격자에 대해 기밀 보장을 보장한다.
• 이론적 분석을 통해 표준 볼록성 가정 하에 알고리즘이 최적 해로 수렴함을 확인한다.
• 암호화 또는 노이즈 기반 방법 대비 최소한의 계산 및 통신 오버헤드를 유발한다.
• 수렴 속도가 유지되며, $\|\bm{x}^k - \bm{x}^*\|_Q \to 0$ 이다. $k \to \infty$ 일 때 최적성 보장.