[論文レビュー] Decentralized Submodular Maximization: Bridging Discrete and Continuous Settings

Aryan Mokhtari, Hamed Hassani+1 more|arXiv (Cornell University)|Feb 11, 2018

Stochastic Gradient Optimization Techniques参考文献 37被引用数 12

ひとこと要約

本稿では、ネットワークシステムにおける連続部分モジュラー最大化のための完全に分散型のアルゴリズムである分散型連続グリーディ（DCG）を導入する。このアルゴリズムは、局所的な通信と計算のみを用いて、タイトな$(1 - 1/e - \epsilon)$近似保証を達成する。さらに、連続的リラクゼーションと丸め処理を用いることで、分散型の離散的部分モジュラー最大化を実現し、同じ近似要因を維持する。収束の保証は、ネットワークのトポロジーに依存する。

ABSTRACT

In this paper, we showcase the interplay between discrete and continuous optimization in network-structured settings. We propose the first fully decentralized optimization method for a wide class of non-convex objective functions that possess a diminishing returns property. More specifically, given an arbitrary connected network and a global continuous submodular function, formed by a sum of local functions, we develop Decentralized Continuous Greedy (DCG), a message passing algorithm that converges to the tight (1-1/e) approximation factor of the optimum global solution using only local computation and communication. We also provide strong convergence bounds as a function of network size and spectral characteristics of the underlying topology. Interestingly, DCG readily provides a simple recipe for decentralized discrete submodular maximization through the means of continuous relaxations. Formally, we demonstrate that by lifting the local discrete functions to continuous domains and using DCG as an interface we can develop a consensus algorithm that also achieves the tight (1-1/e) approximation guarantee of the global discrete solution once a proper rounding scheme is applied.

研究の動機と目的

• ネットワークシステムにおける連続的および離散的部分モジュラー関数の完全に分散型の最適化フレームワークの開発。
• 中央集権的調整なしに、連続的および離散的部分モジュラー最大化の両方でタイトな$(1 - 1/e)$近似比を達成すること。
• 大規模でプライバシーに配慮した応用に適した、最小限の通信と局所的計算で収束を保証すること。
• 連続的リラクゼーションと丸め処理を活用して、分散環境における離散的および連続的最適化を統合すること。
• ネットワークのサイズおよびトポロジーの固有値的性質に依存する収束境界の提供。

提案手法

• 隣接ノードの情報のみを用いて局所的更新を行うメッセージスイーピング型アルゴリズムである分散型連続グリーディ（DCG）を提案。投影を回避する。
• 離散的部分モジュラー関数の連続的リラクゼーションを用いて、連続領域における勾配ベース最適化を可能にする。
• 連続解に対して丸め処理を適用し、保証された近似比を持つ離散解を回復する。
• 各ノードがグローバル解の局所的推定値を維持し、隣接ノードと通信することで収束する、コンSENSUSに基づく更新ルールを採用。
• スぺクトルグラフ理論を用いて収束境界を導出し、ネットワークの代数的連結度および直径に依存することを示す。
• 確率的近似と部分モジュラー関数の性質を組み合わせた、新たな解析フレームワークを導入し、収束速度を確立する。

実験結果

リサーチクエスチョン

• RQ1 完全に分散型のアルゴリズムが、ネットワークシステムにおける連続的部分モジュラー最大化でタイトな$(1 - 1/e)$近似を達成できるか？
• RQ2 連続的リラクゼーションを用いて、分散環境で離散的部分モジュラー最大化をどのように解決できるか？
• RQ3 ネットワークのサイズおよびスペクトル的性質に従って、分散型部分モジュラー最適化の収束速度はどのように変化するか？
• RQ4 分散環境において、データ共有を避けることでプライバシーを保ちながら、最適な近似保証を達成できるか？
• RQ5 ネットワークトポロジーが、分散型部分モジュラー最適化の収束速度および近似品質に与える影響は何か？

主な発見

• DCGは、$O(1/\epsilon^2)$回の通信ラウンドで、連続的部分モジュラー最大化に対して$(1 - 1/e - \epsilon)$近似を達成する。
• アルゴリズムは、ネットワークの代数的連結度および直径に依存する収束レートで最適解に収束する。
• 離散的部分モジュラー最大化において、連続的リラクゼーションと丸め処理を用いることで、$O(1/\epsilon^3)$ラウンドで同じ$(1 - 1/e - \epsilon)$近似を達成する。
• 収束境界は、ネットワークのサイズ、スペクトルギャップ、関数の滑らかさに基づき、$T$、$D$、$L$、$\sigma$、$C$に明示的な依存関係を示す。
• 各ノードが局所的推定値と勾配のみを通信するため、データ共有を回避することでプライバシーを確保する。
• 実験的および理論的分析により、確率的勾配およびネットワーク遅延が存在する状況でも、アルゴリズムが強い近似保証を維持することが確認された。