[論文レビュー] Two-stage stochastic algorithm for solving large-scale (non)-convex separable optimization problems under affine constraints

Benjamin Dubois-Taine, Laurent Pfeiffer+3 more|arXiv (Cornell University)|Feb 6, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

この論文は、仮定付きの大規模可分最適化問題を解くために、アフィン制約を持つ二段階法を提案します。確率的デュアル部分勾配段とブロック座標フランク-Wolfe primal 回復を組み合わせてオラクル呼び出し回数を削減します。非凸設定にも拡張され、収束保証を維持します。

ABSTRACT

We consider nonsmooth optimization problems under affine constraints, where the objective consists of the average of the component functions of a large number $N$ of agents, and we only assume access to the Fenchel conjugate of the component functions. The algorithm of choice for solving such problems is the dual subgradient method, also known as dual decomposition, which requires $O(\frac{1}{ε^2})$ iterations to reach $ε$-optimality in the convex case. However, each iteration requires computing the Fenchel conjugate of each of the $N$ agents, leading to a complexity $O(\frac{N}{ε^2})$ which might be prohibitive in practical applications. To overcome this, we propose a two-stage algorithm, combining a stochastic subgradient algorithm on the dual problem, followed by a block-coordinate Frank-Wolfe algorithm to obtain primal solutions. The resulting algorithm requires only $O(\frac{1}{ε^2} + \frac{N}{ε^{2/3}})$ calls to Fenchel conjugates to obtain an $ε$-optimal primal solution in expectation in the convex case. We extend our results to nonconvex component functions and show that our method still applies and gets (almost) the same convergence rate, this time only to an approximate primal solution recovering the classical duality gap bounds usually obtained using the Shapley-Folkman theorem.

研究の動機と目的

• 成分関数の共役函を利用できるだけで、構成要素の最適化問題を扱う大規模な可約分解問題を解く。
• 二段階アプローチを用いてオラクル呼び出しの複雑さを O(N/ε^2) から下界へ改善。
• フレームワークを非凸の成分関数へ拡張しつつ、収束の洞察を維持する。

提案手法

• 問題 (P) とその双対 (D) を、h_i(x_i) + λ^T A_i x_i を X_i 上で解くことで x_i^*(λ) を返すオラクル (O1) を用いて定式化する。
• 決定論的デュアル部分勾配を分析して primal と dual の解のために O(N/ε^2) 回のオラクル呼び出しが必要であることを示す。
• 段階1: 各イテレーションで一つのインデックスをサンプリングして確率的部分勾配を計算し λ を更新する確率的デュアル部分勾配を導入する。
• 段階2: 双対情報から primal を回復するために、設計された滑らかな目的関数上でブロック座標フランク-Wolfe アルゴリズムを導入する。
• Algorithm 4 に段階を統合して、ε-正確な primal 解を期待値で得るための全体のオラクル呼び出し複雑さを O(1/ε^2 + N/ε^{2/3}) とする。

実験結果

リサーチクエスチョン

• RQ1 アフィン制約下の大規模可分問題に対して、二段階アプローチはオラクル呼び出しの複雑さを削減できるか。
• RQ2 確率的デュアル更新とフランク-Wolfe primal 回復を組み合わせて ε-正確な primal 解を効率的に得られるか。
• RQ3 提案された段階は、成分関数が非凸であっても収束保証を維持できるか。
• RQ4 デュアルおよびプリムの収束速度はどのように N と ε に応じてスケールするか。

主な発見

• 決定論的なデュアル部分勾配は primal および dual の精度のために O(N/ε^2) 回のオラクル呼び出しを必要とする。
• 凸の場合、二段階アルゴリズムは ε-正確な primal 解を期待値で得るためのオラクル呼び出しを O(1/ε^2 + N/ε^{2/3}) と達成する。
• 非凸の拡張では、この手法は依然適用可能で、Shapley-Folkman による双対ギャップ境界を用いて近似 primal 解の同程度の収束速度を得る。
• 段階1 は確率的更新でデュアルの収束速度を改善し、段階2 はブロック座標フランク-Wolfe を活用して primal の実現可能性と最適性を回復する。
• 全体の枠組みは、純粋な決定論的デュアル部分勾配よりも N の依存性を改善した期待値で ε-正確な primal 解を出力する。