[論文レビュー] Unified Acceleration Method for Packing and Covering Problems via Diameter Reduction

Di Wang, Satish Rao+1 more|arXiv (Cornell University)|Aug 10, 2015

Stochastic Gradient Optimization Techniques参考文献 10被引用数 8

ひとこと要約

本稿では、線形カップリングフレームワーク内での新しい直径低減技術を用いて、パッケージングおよびカバレッジ線形計画法の統一的加速手法を提示する。同一のアルゴリズムで両問題タイプに対して最適な O(1/ε) 収束率を達成し、以前はカバレッジ問題に適用する際により複雑なアプローチを要し、O(1/ε^1.5) の依存関係を示していた非対称性を解消する。

ABSTRACT

The linear coupling method was introduced recently by Allen-Zhu and Orecchia for solving convex optimization problems with first order methods, and it provides a conceptually simple way to integrate a gradient descent step and mirror descent step in each iteration. The high-level approach of the linear coupling method is very flexible, and it has shown initial promise by providing improved algorithms for packing and covering linear programs. Somewhat surprisingly, however, while the dependence of the convergence rate on the error parameter $ε$ for packing problems was improved to $O(1/ε)$, which corresponds to what accelerated gradient methods are designed to achieve, the dependence for covering problems was only improved to $O(1/ε^{1.5})$, and even that required a different more complicated algorithm. Given the close connections between packing and covering problems and since previous algorithms for these very related problems have led to the same $ε$ dependence, this discrepancy is surprising, and it leaves open the question of the exact role that the linear coupling is playing in coordinating the complementary gradient and mirror descent step of the algorithm. In this paper, we clarify these issues for linear coupling algorithms for packing and covering linear programs, illustrating that the linear coupling method can lead to improved $O(1/ε)$ dependence for both packing and covering problems in a unified manner, i.e., with the same algorithm and almost identical analysis. Our main technical result is a novel diameter reduction method for covering problems that is of independent interest and that may be useful in applying the accelerated linear coupling method to other combinatorial problems.

研究の動機と目的

• 線形カップリングフレームワーク下でのパッケージングおよびカバレッジ問題の収束率の非対称性を解消すること。カバレッジ問題は以前、O(1/ε^1.5) の遅い収束率を示していた。
• 同一のアルゴリズムとほぼ同一の解析により、パッケージングおよびカバレッジ問題の両者を統一的に取り扱い、同じ最適な O(1/ε) 収束率を達成すること。
• カバレッジ問題に特化した、独立した価値を持つ新しい直径低減法を開発すること。この手法は他の組合せ最適化問題への一般化も可能である可能性がある。
• 幅に依存しない、一階の方法として、各反復でほぼ線形時間（O(N/n)）を実現し、総実行時間を Õ(N/ε) に改善する。これは、先行研究の Õ(N/ε^1.5) の境界を上回る。

提案手法

• 本手法は、各反復で勾配降下法とミラー降下法のステップを組み合わせることで加速収束を達成する、線形カップリングフレームワークを採用する。
• 主な革新点は、カバレッジ問題に特化した新しい直径低減技術であり、解の直径の成長を制御することで収束を高速化する。
• 反復の各ステップで、反復とその線形結合を効率的に追跡するための補助変数 z_k, az_k, y'_k, ay_k, B_{k,1}, B_{k,2} を維持し、変化しない不変性を保つ。
• 各反復は、座標 i あたり O(‖A_{:i}‖_0) 時間で実装可能であり、ランダムな座標選択の下で、期待される各反復コストが O(N/n) に抑えられる。
• ミラー降下ステップは明示的にランク1更新として計算される：z_k = z_{k-1} + δ e_i で、δ は座標あたり O(1) 時間で計算可能。
• 補助変数の更新ルールは、不変性 y_k = B_{k,1} z_k + B_{k,2} y'_k および Ay_k = B_{k,1} az_k + B_{k,2} ay_k を維持するように導出されている。

実験結果

リサーチクエスチョン

• RQ1 構造的に類似しているにもかかわらず、なぜ線形カップリング法はパッケージング問題では O(1/ε) 収束を達成できるが、カバレッジ問題では O(1/ε^1.5) にとどまるのか？
• RQ2 同じアルゴリズムと解析を用いて、パッケージングおよびカバレッジ問題の両方で O(1/ε) 収束を達成できるか？
• RQ3 カバレッジ問題に内在するどのような構造的性質が、パッケージング問題で用いられる標準的な直径低減技術の直接適用を妨げるのか？
• RQ4 パッケージング問題の最適な収束率に一致させるために、カバレッジ問題を加速する統一的メカニズム（例：新しい直径低減法）が存在するか？

主な発見

• 本稿では、同一のアルゴリズムと解析を用いて、パッケージングおよびカバレッジ問題の両方で O(1/ε) 収束率を達成し、以前の収束行動の非対称性を解消した。
• カバレッジ問題に特化した提案された直径低減法は、主な技術的貢献であり、収束の高速化に有効であることが示された。
• アルゴリズムの総実行時間は Õ(N/ε) であり、N は行列 A の非ゼロ要素数を表す。これは、カバレッジ問題に対して先行研究の Õ(N/ε^1.5) の境界を改善する。
• 幅に依存しない方法であり、幅パラメータに対して対数的依存性しか持たないため、大規模問題に適している。
• 各反復は、座標あたり O(‖A_{:i}‖_0) 時間で実装可能であり、各反復の計算量がほぼ線形時間で抑えられる。
• 適切に更新される補助変数を介して不変性を維持することで、正しさが保証され、計算が効率的に行える。