[논문 리뷰] Privacy-preserving Decentralized Optimization Based on ADMM

Chunlei Zhang, Yongqiang Wang|arXiv (Cornell University)|2017. 07. 13.

Stochastic Gradient Optimization Techniques인용 수 7

한 줄 요약

이 논문은 부분 히든 암호화를 사용한 ADMM를 통해 기밀성 보장된 분산 최적화 프레임워크를 제안하며, 중앙 집중식 집계자 없이도 안전하고 완전히 분산된 계산을 가능하게 한다. 시간에 따라 변하는 페널티 행렬을 가진 새로운 ADMM 변형을 도입하여 O(1/t) 수렴 속도를 증명하고, 민감한 에이전트 데이터를 보호하면서도 낮은 계산 오버헤드를 달성한다.

ABSTRACT

Privacy preservation is addressed for decentralized optimization, where $N$ agents cooperatively minimize the sum of $N$ convex functions private to these individual agents. In most existing decentralized optimization approaches, participating agents exchange and disclose states explicitly, which may not be desirable when the states contain sensitive information of individual agents. The problem is more acute when adversaries exist which try to steal information from other participating agents. To address this issue, we propose a privacy-preserving decentralized optimization approach based on ADMM and partially homomorphic cryptography. To our knowledge, this is the first time that cryptographic techniques are incorporated in a fully decentralized setting to enable privacy preservation in decentralized optimization in the absence of any third party or aggregator. To facilitate the incorporation of encryption in a fully decentralized manner, we introduce a new ADMM which allows time-varying penalty matrices and rigorously prove that it has a convergence rate of $O(1/t)$. Numerical and experimental results confirm the effectiveness and low computational complexity of the proposed approach.

연구 동기 및 목표

• 에이전트가 민감한 상태 정보를 공유하는 분산 최적화에서의 기밀성 泄露 문제를 해결하기 위해.
• 기밀성 보장 최적화에서 중앙 집중식 집계자 또는 신뢰할 수 있는 제3자에 대한 의존도를 제거하기 위해.
• 특히 부분 히든 암호화를 포함한 암호 기법을 완전히 분산된 ADMM 프레임워크에 통합하기 위해.
• 에이전트 수준의 데이터 기밀성 보장을 유지하면서도 수렴성과 계산 효율성을 확보하기 위해.
• 안전한 분산 계산에 적합한 시간에 따라 변하는 페널티 행렬을 가진 새로운 ADMM 변형을 개발하기 위해.

제안 방법

• 시간에 따라 변하는 페널티 행렬을 지원하는 수정된 ADMM 알고리즘을 제안하여 분산 환경에서의 유연성과 보안성을 향상시킨다.
• 민감한 에이전트 상태 정보를 통신 중 보호하기 위해 부분 히든 암호화를 통합하여 스니핑 공격자나 적대자로부터의 기밀성 유출를 방지한다.
• 에이전트가 로컬 계산을 수행하고 암호화된 변수만 교환하는 완전히 분산된 프로토콜을 설계하여 중앙 조정자 필요성을 제거한다.
• 히든 암호화의 특성을 활용해 중간 단계에서 복호화 없이도 암호화된 변수를 안전하게 집계할 수 있도록 한다.
• 제안된 ADMM 변형의 수렴 속도가 O(1/t)임을 증명하여 이론적 신뢰성을 확보한다.
• 에이전트들이 암호화된 데이터와 동적으로 조정된 페널티 매개변수를 사용하여 반복적으로 자신의 로컬 변수를 업데이트하는 분산 공감 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 중앙 집중식 집계자나 신뢰할 수 있는 제3자가 없이도 분산 최적화에서 기밀성을 유지할 수 있는가?
• RQ2 히든 암호화는 어떻게 분산된 ADMM 프레임워크에 효과적으로 통합될 수 있는가?
• RQ3 시간에 따라 변하는 페널티 행렬을 사용할 경우 분산 최적화의 수렴성과 기밀성에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 강력한 기밀성 보장을 유지하면서도 낮은 계산 복잡도를 유지할 수 있는가?
• RQ5 분산 및 암호화 조건 하에서 제안된 기밀성 보장 ADMM 변형의 수렴 속도는 얼마인가?

주요 결과

• 제안된 방법은 이상적인 조건에서 표준 ADMM의 이론적 성능을 유지하며 O(1/t) 수렴 속도를 달성한다.
• 부분 히든 암호화의 통합을 통해 원시 상태 데이터를暴露하지 않고도 에이전트 간의 안전한 통신을 가능하게 한다.
• 프레임워크는 완전히 분산된 방식으로 작동하여 어떤 중앙 기관이나 집계자에 대한 의존도를 제거한다.
• 수치 실험을 통해 기밀성 보장을 유지하면서도 계산 효율성을 확보하는 방법의 효과성을 확인한다.
• 시간에 따라 변하는 페널티 행렬의 사용은 적응성 향상과 동적 분산 환경에서의 안전한 수렴을 지원한다.
• 낮은 계산 오버헤드를 보이며, 기밀성에 민감한 응용 분야에서의 실질적 구현 가능성도 입증한다.