[論文レビュー] Distributed Convex Optimization with Many Convex Constraints

Joachim Giesen, Sören Laue|arXiv (Cornell University)|Oct 7, 2016

Optimization and Variational Analysis被引用数 19

ひとこと要約

本稿では、一般の凸最適化問題に一般化された非線形制約を扱えるようにADMMを拡張する分散アルゴリズムを提案する。同手法は、一致と制約処理のループを統合した二重ループ構造を採用する。この方法はADMMおよび増強ラグランジュ法の収束保証を継承し、三重ループを必要としない従来の手法とは異なり、大規模問題（例：ロバストSVM）を効率的かつスケーラブルに解ける。

ABSTRACT

We address the problem of solving convex optimization problems with many convex constraints in a distributed setting. Our approach is based on an extension of the alternating direction method of multipliers (ADMM) that recently gained a lot of attention in the Big Data context. Although it has been invented decades ago, ADMM so far can be applied only to unconstrained problems and problems with linear equality or inequality constraints. Our extension can handle arbitrary inequality constraints directly. It combines the ability of ADMM to solve convex optimization problems in a distributed setting with the ability of the Augmented Lagrangian method to solve constrained optimization problems, and as we show, it inherits the convergence guarantees of ADMM and the Augmented Lagrangian method.

研究の動機と目的

• 多数の非線形制約を伴う問題に対して、標準ADMMが直接処理できない分散凸最適化のギャップを埋めること。
• 従来の手法が一致、制約、非制約部分問題の解法のための三重ループを必要としている分散制約最適化において、三重ループの必要性を排除すること。
• ADMMの分散構造と、任意の凸不等式制約を扱える増強ラグランジュ法の能力を統合した包括的アルゴリズムの開発。
• 一致と制約処理の役割を統合した「ラグジュアリーな二重ループ」アルゴリズムスキームの収束性を形式的に証明すること。このスキームは、これまでに正式に解析されていない。
• 分散コンピューティングノードを用いた実世界の問題（例：ロバストSVM、コアベクターマシン）において、スケーラビリティと効率性を実証すること。

提案手法

• 任意の凸不等式制約を直接処理できるように、増強ラグランジュ法をADMMに統合することでADMMを拡張。実行可能集合への射影を回避する。
• 二重ループ構造を採用：外側のループは増強ラグランジュ法、内側のループはADMMに対応。一致と制約処理の役割を統合する。
• 分離可能な目的関数と多数の非線形制約を伴う問題（例：最小包含球の半径を最小化する問題、ロバストSVM）に適用。
• 双方向ステップ法を用い、双対上昇とペナルティ更新を交互に実行することで、分散ノード間での一致と制約の強制を実現。
• ADMMと増強ラグランジュ法の理論的性質を組み合わせることで収束保証を導出。標準的な仮定のもとで最適解への収束を保証する。
• 分散ハードウェア上でアルゴリズムを実装。データポイントをコンピューティングノードに分散し、局所的な部分問題を並列に解く。

実験結果

リサーチクエスチョン

• RQ1 三重ループを必要とせず、一般の凸不等式制約を分散環境で処理できるようにADMMを拡張することは可能か？
• RQ2 分散最適化において、一致処理と制約処理のステップを統合することで、アルゴリズムの複雑さを低減できるか？
• RQ3 提案された二重ループアルゴリズムは、三重ループベースラインと比較して収束保証を維持しながら効率性を向上させられるか？
• RQ4 実用的応用（例：ロバストSVM）において、制約数およびコンピューティングノード数の増加に伴うアルゴリズムのスケーリング特性は？
• RQ5 近似精度が、提案フレームワークにおける収束に必要な反復回数に与える影響は？

主な発見

• 提案されたアルゴリズムは、各反復で制約付き部分問題を解く必要がなく、一般の凸非線形制約を分散環境で効果的に処理できる。
• 三重ループを必要とする従来の手法とは異なり、二重ループでのみ実現可能な収束を達成し、性能で優れる。
• ロバストSVMにおける実験では、データポイント数の増加に伴い反復回数が減少し、局所的な多様性の向上に起因するより良い一致が得られることを示した。
• 近似精度を高める（例：∥zᵏ−z*∥∞ ≤ 5·10⁻³）と、反復回数が著しく増加する傾向を示し、標準ADMMの既知の挙動と整合的である。
• コンピューティングノード数およびデータポイント数の両面でスケーラビリティを示し、ノードあたりのデータポイント数が増加するにつれて実行時間が短縮される。
• 実践的には中程度の精度で十分な解が得られることを示唆する結果であり、機械学習における早期停止による正則化と整合的である。