[논문 리뷰] ADMM Based Privacy-preserving Decentralized Optimization

Chunlei Zhang, Muaz Ahmad외 1명|arXiv (Cornell University)|2017. 07. 13.

Stochastic Gradient Optimization Techniques참고 문헌 49인용 수 4

한 줄 요약

이 논문은 부분적 히든 암호화를 사용하는 ADMM를 활용한 기존의 비밀유지 분산 최적화 프레임워크를 제안하며, 제3자 중개자 없이도 안전한 분산 최적화를 가능하게 한다. 이는 시간에 따라 변하는 페널티 행렬을 사용하는 ADMM의 변종을 도입하여, 도청자 및 인접한 에이전트로부터 민감한 에이전트 상태를 보호하면서도 O(1/t) 수렴 속도를 달성한다.

ABSTRACT

Privacy preservation is addressed for decentralized optimization, where $N$ agents cooperatively minimize the sum of $N$ convex functions private to these individual agents. In most existing decentralized optimization approaches, participating agents exchange and disclose states explicitly, which may not be desirable when the states contain sensitive information of individual agents. The problem is more acute when adversaries exist which try to steal information from other participating agents. To address this issue, we propose a privacy-preserving decentralized optimization approach based on ADMM and partially homomorphic cryptography. To our knowledge, this is the first time that cryptographic techniques are incorporated in a fully decentralized setting to enable privacy preservation in decentralized optimization in the absence of any third party or aggregator. To facilitate the incorporation of encryption in a fully decentralized manner, we introduce a new ADMM which allows time-varying penalty matrices and rigorously prove that it has a convergence rate of $O(1/t)$. Numerical and experimental results confirm the effectiveness and low computational complexity of the proposed approach.

연구 동기 및 목표

• 에이전트가 민감한 상태를 명시적으로 교환하는 분산 최적화에서의 비밀유지 누출 문제를 해결하기 위해.
• 제3자 중개자 없이 완전히 분산된 환경에서 종단 간 비밀유지 보장을 가능하게 하기 위해.
• 특히 부분적 히든 암호화를 포함한 암호 기법을 분산 ADMM 프레임워크에 통합하기 위해.
• 강력한 비밀유지 보장을 확보하면서도 수렴성과 계산 효율성을 유지하기 위해.
• 시간에 따라 변하는 페널티 행렬을 갖는 새로운 ADMM 변종을 개발하여 비밀유지 계산을 지원하기 위해.

제안 방법

• 시간에 따라 변하는 페널티 행렬을 갖는 수정된 ADMM 알고리즘을 도입하여 분산 네트워크에서의 안전한 계산을 지원한다.
• 에이전트 상태가 메시지 교환 중에 유출되지 않도록, 도청자가 민감한 데이터를 유추할 수 없도록 부분적 히든 암호화를 적용한다.
• 각 에이전트가 로컬 변수를 전송하기 전에 암호화하는 분산 암호화 체계를 설계하여, 복호화되지 않은 상태의 데이터가 노출되지 않도록 보장한다.
• 약한 조건 하에서 제안된 ADMM 변종의 수렴성을 증명하며, 알고리즘이 원래 문제의 최적 해로 수렴함을 보여준다.
• 리아푸노프 유사 함수를 사용하여 이중 변수와 원시 변수 갱신을 분석함으로써 이론적 수렴 속도 O(1/t)를 확립한다.
• 시간에 따라 변하는 페널티 행렬과 히든 암호화의 구조를 통합한 새로운 리아푸노프 함수를 사용하여 수렴성을 분석한다.

실험 결과

연구 질문

• RQ1 중앙 집중형 중개자나 신뢰할 수 있는 제3자에 의존하지 않고도 분산 최적화에서 비밀유지를 유지할 수 있는가?
• RQ2 히든 암호화는 어떻게 분산 ADMM 프레임워크에 통합되어 민감한 에이전트 상태를 보호할 수 있는가?
• RQ3 시간에 따라 변하는 페널티 행렬을 갖는 ADMM 변종이 비밀유지 환경에서 어떤 수렴 보장을 가질 수 있는가?
• RQ4 추가된 암호화 계층에도 불구하고 제안된 방법은 합리적인 수렴 속도를 유지하는가?
• RQ5 제안된 방법은 교환된 메시지의 관찰을 통해 악성 행위자가 비밀 정보를 추론하는 것을 방지할 수 있는가?

주요 결과

• 시간에 따라 변하는 페널티 행렬을 갖는 제안된 ADMM는 O(1/t) 수렴 속도를 달성하며, 표준 ADMM 성능과 동일하다.
• 모든 교환 메시지가 암호화되어 있으므로, 직접적인 이웃 에이전트에게조차도 에이전트의 비밀 상태가 평문으로 노출되지 않는다.
• 수치적 결과는 알고리즘이 낮은 계산 오버헤드로 최적 해로 수렴함을 확인한다.
• 이론적 분석을 통해 알고리즘이 라그랑주 함수의 안정점으로 수렴함을 증명하며, 이는 해의 최적성 보장을 의미한다.
• 이 방법은 도청자에 대해 강건하며, 에이전트의 위치나 학습 데이터와 같은 비밀 정보의 추론을 방지한다.
• 부분적 히든 암호화를 완전히 분산된 ADMM 프레임워크에 통합하는 것이 볼록 최적화 문제에 대해 실현 가능하고 효과적임을 보여준다.