[論文レビュー] Solving Non-smooth Constrained Programs with Lower Complexity than $\mathcal{O}(1/\varepsilon)$: A Primal-Dual Homotopy Smoothing Approach

Xiaohan Wei, Hao Yu+2 more|arXiv (Cornell University)|Sep 5, 2018

Advanced Optimization Algorithms Research被引用数 7

ひとこと要約

本稿では、非滑らかで滑らかでない目的関数と双対関数をもつ線形制約付き凸計画問題に対して、原双対ホモトピー滑らか化アルゴリズムを提案する。双対関数における局所的誤差束縛条件（パラメータ $eta ∈ (0,1]$）を活用することで、原問題の収束速度が $\/mathcal{O}(\varepsilon^{-2/(2+\beta)}\log_2(\varepsilon^{-1}))$ に達し、$eta < 1$ の場合に古典的な $\/mathcal{O}(1/\varepsilon)$ の複雑さを上回る。この手法は分散幾何的中央値問題に適用され、$eta = 1/2$ の場合に $\/mathcal{O}(\varepsilon^{-4/5}\log_2(\varepsilon^{-1}))$ の収束を達成した。

ABSTRACT

We propose a new primal-dual homotopy smoothing algorithm for a linearly constrained convex program, where neither the primal nor the dual function has to be smooth or strongly convex. The best known iteration complexity solving such a non-smooth problem is $\mathcal{O}(\varepsilon^{-1})$. In this paper, we show that by leveraging a local error bound condition on the dual function, the proposed algorithm can achieve a better primal convergence time of $\mathcal{O}\left(\varepsilon^{-2/(2+β)}\log_2(\varepsilon^{-1}) ight)$, where $β\in(0,1]$ is a local error bound parameter. As an example application of the general algorithm, we show that the distributed geometric median problem, which can be formulated as a constrained convex program, has its dual function non-smooth but satisfying the aforementioned local error bound condition with $β=1/2$, therefore enjoying a convergence time of $\mathcal{O}\left(\varepsilon^{-4/5}\log_2(\varepsilon^{-1}) ight)$. This result improves upon the $\mathcal{O}(\varepsilon^{-1})$ convergence time bound achieved by existing distributed optimization algorithms. Simulation experiments also demonstrate the performance of our proposed algorithm.

研究の動機と目的

• 原問題および双対問題の両方が滑らかでない、または強く凸でない非滑らかで制約付き凸計画問題における収束複雑度のギャップを埋める。
• リプシッツ勾配や強い凸性よりも弱い仮定のもとで、$\mathcal{O}(1/\varepsilon)$ よりも優れた収束複雑度を達成するアルゴリズムを開発する。
• 双対関数における局所的誤差束縛条件を活用して、非滑らか設定下での収束加速を理論的に構築するフレームワークを確立する。
• 標準の加速手法が非滑らか性のため失敗する状況でも、低反復複雑度を維持するスケーラブルな原双対手法を提供する。
• 実応用としての分散幾何的中央値問題にこの手法を適用し、既存手法に比べて改善された収束を実証する。

提案手法

• 滑らかでない双対関数を近似するために、滑らか化パラメータを段階的に調整するホモトピー滑らか化技術を採用し、勾配ベースの更新を可能にする。
• 滑らか化パラメータ $\mu$ を導入することで、滑らかでない双対問題を効率的に解ける滑らかな部分問題の系列に変換する。
• 段階ごとに適応的時間枠戦略を用い、$T^{(k)} = \frac{D}{\varepsilon^{0.8}} \cdot \frac{k}{K}$（$K = \lceil \log_2(1/\varepsilon) \rceil + 1$）として、初期反復で収束を加速する。
• 双対関数における局所的誤差束縛条件を用い、パラメータ $\beta$ に依存する収束速度を導出する。$\|\mathbf{A}^T\lambda - \nu^*\| \leq C_0 (F(\lambda) - F^*)^{1/2}$。
• 増大ラグランジュを最小化する原問題更新と、部分勾配ステップによる双対変数更新を交互に実行する原双対更新スキームを採用する。
• 元の双対関数 $F(\lambda)$ と補助関数 $G(\nu)$ の等価性を活用し、$G(\nu)$ における局所的誤差束縛を $F(\lambda)$ に移転することで、収束保証を確保する。

実験結果

リサーチクエスチョン

• RQ1 非滑らかで線形制約付き凸計画問題に対して、原双対アルゴリズムが $\mathcal{O}(1/\varepsilon)$ よりも低い収束複雑度を達成できるか？
• RQ2 双対関数における局所的誤差束縛パラメータ $\beta$ が原双対手法の収束速度に与える影響は何か？
• RQ3 提案されたホモトピー滑らか化アプローチは、原問題および双対問題の両方が非滑らかである場合でも、低複雑度を維持できるか？
• RQ4 本手法は、分散幾何的中央値計算のような実世界問題に適用可能であり、既存手法に比べて理論的改善を示せるか？
• RQ5 収束速度 $\mathcal{O}(\varepsilon^{-2/(2+\beta)}\log_2(\varepsilon^{-1}))$ は、問題次元やネットワーク接続性の変化に対しても安定しているか？

主な発見

• 局所的誤差束縛条件（パラメータ $\beta \in (0,1]$）のもとで、提案されたアルゴリズムは原問題収束速度 $\mathcal{O}(\varepsilon^{-2/(2+\beta)}\log_2(\varepsilon^{-1}))$ を達成し、標準的な $\mathcal{O}(1/\varepsilon)$ 複雑度を上回る。
• 分散幾何的中央値問題において、双対関数は $\beta = 1/2$ の局所的誤差束縛を満たし、収束速度が $\mathcal{O}(\varepsilon^{-4/5}\log_2(\varepsilon^{-1}))$ に達する。
• 次元 $d=20$ から $d=300$、接続率 $0.05$ から $0.3$ の変動するネットワークにおけるシミュレーションでは、DSM や EXTRA、ジャコビアン ADMM といったベースライン手法に比べて一貫した性能向上を示した。
• 適応的時間枠戦略により、初期段階で著しく収束が速くなる。$T^{(k)}$ はラウンドに応じて段階的に増加する。
• 実験結果は、理論的収束速度が実際の問題において達成可能であることを確認しており、特に中程度から高いネットワーク接続性下で顕著である。
• 問題次元やネットワークスパarsityに対する耐性を備えた点で、既存の分散アルゴリズムを収束速度および耐性面で上回った。