[論文レビュー] Distributed Optimization of Convex Sum of Non-Convex Functions

Shripad Gade, Nitin H. Vaidya|arXiv (Cornell University)|Aug 18, 2016

Distributed Control Multi-Agent Systems参考文献 19被引用数 10

ひとこと要約

本稿では、各エージェントが全体の目的関数の非凸成分を秘匿している状況下で、凸和の最小化を目的とする分散最適化アルゴリズムを提示する。勾配のリプシッツ連続性の下で、結合されたコアリションと投影勾配降下法を活用することで、個々の関数が非凸であってもグローバル最適解への収束を保証する。これにより、分散学習およびリソース割り当てシステムにおけるプライバシーの向上が可能になる。

ABSTRACT

We present a distributed solution to optimizing a convex function composed of several non-convex functions. Each non-convex function is privately stored with an agent while the agents communicate with neighbors to form a network. We show that coupled consensus and projected gradient descent algorithm proposed in [1] can optimize convex sum of non-convex functions under an additional assumption on gradient Lipschitzness. We further discuss the applications of this analysis in improving privacy in distributed optimization.

研究の動機と目的

• 個々の目的関数が非凸であるが、その和が凸であるような状況への分散最適化の拡張。
• エージェントが自身の関数の異なる成分を異なる隣接エージェントと共有できるようにすることで、プライバシー保護型分散最適化を実現。
• 強い連結性と勾配のリプシッツ連続性の仮定の下で、アルゴリズム1の収束を証明。凸性の強い仮定を緩和。
• 分散機械学習および最適化におけるプライバシー強化戦略の理論的基盤を構築。
• 通信トポロジーを $Q$-連結に一般化し、厳密な連結性要件を緩和。

提案手法

• エージェントは、結合されたコアリションと投影勾配降下法を組み合わせた分散プロトコルを用い、非凸の局所関数から構成されるグローバルな凸目的関数を最小化する。
• 各エージェントは、自身の非公開関数の一部のみを用いて局所的勾配降下法を実行し、異なる隣接エージェントと異なる状態更新を共有する。
• ネットワークの連結性を維持するために、重みを適切に選択した双方向確率的行列 $B_k$ を使用してエージェント間のコアリションを確保する。
• リャプノフ型解析を用いて収束を証明し、反復平均 $\bar{x}_k$ が最適解集合 $\mathcal{X}^*$ に収束することを示す。
• 通信トポロジーが $Q$-連結（各 $Q$ ステップごとに少なくとも一度通信が確立される）である場合にも適用可能であり、間欠的ネットワークへの応用を拡張。
• 個々の関数を非凸成分に分割することで、他のエージェントが全目的関数を再構築できないようにし、プライバシーを強化。

実験結果

リサーチクエスチョン

• RQ1 個々の関数が非凸であるが、その和が凸である場合に、分散最適化がグローバル最小値に収束できるか？
• RQ2 結合されたコアリションと投影勾配降下法の組み合わせは、個々の関数の凸性を仮定せず、勾配のリプシッツ連続性のもとで収束を保つのか？
• RQ3 非凸成分に分割したプライベート関数を共有することで、分散最適化におけるプライバシーを保護できるか？
• RQ4 完全に接続されていない通信トポロジー（$Q$-連結）において、アルゴリズムはどのように動作するか？
• RQ5 関数のランダムな共有を、グローバル目的関数を変更せずにプライバシー保護のメカニズムとして用いることができるか？

主な発見

• 目的関数 $f(x)$ が凸であり、個々の勾配がリプシッツ連続であるという仮定の下で、アルゴリズムは最適解集合 $\mathcal{X}^*$ に収束する。
• 反復平均 $\bar{x}_k$ は最適解に収束し、$\liminf_{k\to\infty} f(\bar{x}_k) = f(x^*)$ を満たす。
• すべてのエージェントが漸近的に同一の反復ベクトルに合意するため、ネットワーク全体で一貫性が保たれる。
• 通信グラフが $Q$-連結（各ステップで完全に接続されている必要はない）である場合でも収束結果が成立する。
• 関数の分割により、エージェントは異なる隣接エージェントと異なる状態更新を共有でき、他のエージェントの目的関数の再構築を防げる。
• ランダムな関数共有により、グローバル目的関数は変化せず、関数の和が元の和と等しいままプライバシーが強化される。