[論文レビュー] Distributed Continuous-Time Algorithm for Constrained Convex Optimizations via Nonsmooth Analysis Approach

Xianlin Zeng, Peng Yi+1 more|arXiv (Cornell University)|Oct 26, 2015

Distributed Control Multi-Agent Systems参考文献 19被引用数 5

ひとこと要約

本稿は、滑らかでない目的関数を伴う制約付き凸最適化のための分散型連続時間投影アルゴリズムを提案する。プライマルデュアルダイナミクスと射影作用素を用いて、共通の最適解への収束を保証するとともに、状態が有界であることを確保する。主な貢献は、滑らかでないリャプノフ関数と微分包含を用いた厳密な収束解析であり、強い凸性や補助変数の有界性を仮定しない一般の凸性のもとで有効である。

ABSTRACT

This technical note studies the distributed optimization problem of a sum of nonsmooth convex cost functions with local constraints. At first, we propose a novel distributed continuous-time projected algorithm, in which each agent knows its local cost function and local constraint set, for the constrained optimization problem. Then we prove that all the agents of the algorithm can find the same optimal solution, and meanwhile, keep the states bounded while seeking the optimal solutions. We conduct a complete convergence analysis by employing nonsmooth Lyapunov functions for the stability analysis of differential inclusions. Finally, we provide a numerical example for illustration.

研究の動機と目的

• 各エージェントが局所的な目的関数と局所的制約集合のみを知っている状況で、それらの和を最小化する分散型連続時間アルゴリズムを設計すること。
• プライベートな制約を共有することなく、ローカルな情報のみを用いてすべてのエージェントが同じ最適解に収束することを保証すること。
• 最適化過程においてエージェントの状態が有界であることを保証すること。これにより、従来の研究で補助変数が無限大に発散するという限界を克服する。
• 滑らかでない解析と微分包含を用いて、強い凸性を仮定しない一般の凸問題（必ずしも強く凸でない問題）に対しても完全な収束解析を確立すること。
• 既存の連続時間分散最適化手法を、滑らかでない目的関数と一般の局所的制約集合に対応可能に拡張すること。

提案手法

• 各エージェントが局所的な目的関数と局所的制約集合に基づいて状態を更新する、プライマルデュアルダイナミクスを用いた分散型連続時間投影アルゴリズムを設計する。
• 制約に対する適合性を保証するため、射影作用素を組み込むことで、解が実行可能集合内に留まるようにする。
• 安定性を解析するため、プライマル変数、デュアル変数、最適解からの距離に関連する項を含む滑らかでないリャプノフ関数を構築する。
• 目的関数の滑らかでなさのため、収束の証明には微分包含を用い、滑らかでない解析のツールを用いて安定性を分析する。
• 合成リャプノフ関数 $ V^*(\mathbf{x}, \lambda) $ を、二次項と滑らかでない項の和として定義し、その微分がほとんど everywhere で非正であることを示す。
• リャプノフ関数の減少を保証するために、ラプラシアン行列 $ \mathbf{L} $ の性質、クロネッカー積、固有値の上限を用いる。

実験結果

リサーチクエスチョン

• RQ1 各エージェントが自らの局所的目的関数と局所的制約集合しか知らない状況で、分散型連続時間アルゴリズムが同じ最適解に収束できるか。
• RQ2 滑らかでない目的関数と局所的制約が存在する中で、最適化過程におけるエージェントの状態の有界性をどのように保証できるか。
• RQ3 収束解析を強い凸性を仮定しない一般の凸問題にまで拡張できるか。
• RQ4 滑らかでないリャプノフ解析は、滑らかでない最適化から生じる微分包含の収束を証明するために果たす役割は何か。
• RQ5 本手法は、状態の有界性と非強く凸問題への適用可能性において、従来の手法と比べてどのように優れているか。

主な発見

• 提案されたアルゴリズムは、一般の凸性のため最適解集合が連続的である場合でも、すべてのエージェントが同じ最適解に収束することを保証する。
• 最適化過程においてすべてのエージェントの状態が有界に保たれることを示し、従来の研究で補助変数が無限大に発散するという問題を改善する。
• 滑らかでないリャプノフ関数を用いた収束の証明がなされ、その微分がほとんど everywhere で非正であることが示され、漸近的安定性が保証される。
• 収束解析は一般の凸性のもとで有効であり、強い凸性を仮定しないことにより、連続時間分散最適化手法の適用範囲が広がる。
• リャプノフ関数は $ V^*(\mathbf{x}, \lambda) = V_1^*(\mathbf{x}, \lambda) + k V_2^*(\mathbf{x}, \lambda) $ として構築され、すべての成分が非負であり、微分が非正であることが示され、収束が保証される。
• 制約が存在しない場合には、既知の連続時間分散ソルバに帰着するため、従来の結果と整合性があることが確認される。