[논문 리뷰] Decentralized Submodular Maximization: Bridging Discrete and Continuous Settings

Aryan Mokhtari, Hamed Hassani외 1명|arXiv (Cornell University)|2018. 02. 11.

Stochastic Gradient Optimization Techniques참고 문헌 37인용 수 12

한 줄 요약

이 논문은 네트워크 시스템에서 연속 하위모듈러 최대화를 위한 첫 번째 완전 탈중앙화 알고리즘인 탈중앙화 연속 그레디언트(Decentralized Continuous Greedy, DCG)를 소개한다. 이 알고리즘은 오직 국소적 통신과 계산을 사용하여 $(1 - 1/e - \epsilon)$의 날카운 approximation 보장을 달성한다. 또한 연속적 relaxation과 반올림을 통해 탈중앙화된 이산 하위모듈러 최대화를 가능하게 하며, 동일한 approximation 요율을 유지하면서 네트워크 구조와 크기에 따라 정해진 수렴 경계를 제공한다.

ABSTRACT

In this paper, we showcase the interplay between discrete and continuous optimization in network-structured settings. We propose the first fully decentralized optimization method for a wide class of non-convex objective functions that possess a diminishing returns property. More specifically, given an arbitrary connected network and a global continuous submodular function, formed by a sum of local functions, we develop Decentralized Continuous Greedy (DCG), a message passing algorithm that converges to the tight (1-1/e) approximation factor of the optimum global solution using only local computation and communication. We also provide strong convergence bounds as a function of network size and spectral characteristics of the underlying topology. Interestingly, DCG readily provides a simple recipe for decentralized discrete submodular maximization through the means of continuous relaxations. Formally, we demonstrate that by lifting the local discrete functions to continuous domains and using DCG as an interface we can develop a consensus algorithm that also achieves the tight (1-1/e) approximation guarantee of the global discrete solution once a proper rounding scheme is applied.

연구 동기 및 목표

• 네트워크 시스템에서 연속 및 이산 하위모듈러 함수를 위한 완전 탈중앙화 최적화 프레임워크를 개발한다.
• 중앙 집중적 조율 없이도 연속 및 이산 하위모듈러 최대화에서 $(1 - 1/e)$ approximation 비율을 달성한다.
• 대규모 및 개인정보 민감한 응용에 적합한 최소한의 통신과 국소 계산을 통해 수렴 보장한다.
• 연속적 relaxation과 반올림을 활용하여 탈중앙화 환경에서 이산 최적화와 연속 최적화를 연결한다.
• 네트워크 크기와 기초적인 구조의 스펙트럼 성질에 따라 의존하는 수렴 경계를 제공한다.

제안 방법

• 이웃 정보만을 사용하여 국소 업데이트를 수행하고 투영을 피하는 메시지 전달 알고리즘인 탈중앙화 연속 그레디언트(DCG)를 제안한다.
• 이산 하위모듈러 함수의 연속적 relaxation을 사용하여 연속 영역에서 기울기 기반 최적화를 가능하게 한다.
• 연속적 해에 반올림 기법을 적용하여 보장된 approximation 비율을 갖는 이산적 해를 복원한다.
• 각 노드가 전역 해의 국소 추정치를 유지하고 이웃과의 통신을 통해 수렴하는 공통의 업데이트 규칙을 사용한다.
• 스펙트럼 그래프 이론을 활용하여 수렴 경계를 유도하며, 네트워크의 대수적 연결성과 지름에 따라 의존성을 보여준다.
• 수렴 속도를 확립하기 위해 확률적 근사와 하위모듈러 함수 성질을 융합한 새로운 분석 프레임워크를 도입한다.

실험 결과

연구 질문

• RQ1 완전 탈중앙화 알고리즘이 네트워크 시스템에서 연속 하위모듈러 최대화에 대해 $(1 - 1/e)$의 날카운 approximation 비율을 달성할 수 있는가?
• RQ2 연속적 relaxation을 통해 이산 하위모듈러 최대화를 어떻게 탈중앙화 방식으로 해결할 수 있는가?
• RQ3 네트워크 크기와 스펙트럼 성질에 따라 탈중앙화 하위모듈러 최적화의 수렴 속도는 어떻게 되는가?
• RQ4 탈중앙화 환경에서 최적 approximation 보장을 유지하면서도 데이터 프라이버시를 보장할 수 있는가?
• RQ5 네트워크 구조가 탈중앙화 하위모듈러 최적화의 수렴 속도와 approximation 품질에 어떤 영향을 미치는가?

주요 결과

• DCG는 $O(1/\epsilon^2)$회의 통신 라운드 내에서 연속 하위모듈러 최대화에 대해 $(1 - 1/e - \epsilon)$ approximation을 달성한다.
• 알고리즘은 네트워크의 대수적 연결성과 지름에 따라 의존하는 수렴 속도를 갖는다.
• 이산 하위모듈러 최대화의 경우, 연속적 relaxation과 반올림을 사용하여 $O(1/\epsilon^3)$회의 라운드 내에서 동일한 $(1 - 1/e - \epsilon)$ approximation을 달성한다.
• 수렴 경계는 네트워크 크기, 스펙트럼 갭, 함수의 매끄러움성에 따라 유도되며, $T$, $D$, $L$, $\sigma$, $C$에 명시적인 의존성을 보여준다.
• 각 노드가 국소 추정치와 기울기만을 통신하므로 데이터 공유를 피함으로써 프라이버시를 보장한다.
• 실증적 및 이론적 분석을 통해 알고리즘이 확률적 기울기와 네트워크 지연 조건 하에서도 강력한 approximation 보장을 유지함을 확인한다.