[論文レビュー] Online Linear Programming: Dual Convergence, New Algorithms, and Regret Bounds

Xiaocheng Li, Yinyu Ye|arXiv (Cornell University)|Sep 12, 2019

Optimization and Search Problems参考文献 53被引用数 21

ひとこと要約

本稿はオンライン線形計画法（OLP）における2つの長年の未解決問題を解決する：（1）弱い正則性条件のもとで、オンラインアルゴリズムからの双対価格がオフライン最適双対価格に収束すること、（2）符号が混合した係数をもつ一般のLPへ結果が拡張可能であること。本稿では、過去の意思決定と入力データを活用することで制約消費を安定化させる、アクション履歴依存型学習アルゴリズムを提案し、$O(\log n \log \log n)$のレグレットバウンドを達成する。これは、従来の双対価格学習手法の$O(\sqrt{n})$バウンドを著しく改善する。

ABSTRACT

We study an online linear programming (OLP) problem under a random input model in which the columns of the constraint matrix along with the corresponding coefficients in the objective function are generated i.i.d. from an unknown distribution and revealed sequentially over time. Virtually all pre-existing online algorithms were based on learning the dual optimal solutions/prices of the linear programs (LP), and their analyses were focused on the aggregate objective value and solving the packing LP where all coefficients in the constraint matrix and objective are nonnegative. However, two major open questions were: (i) Does the set of LP optimal dual prices learned in the pre-existing algorithms converge to those of the "offline" LP, and (ii) Could the results be extended to general LP problems where the coefficients can be either positive or negative. We resolve these two questions by establishing convergence results for the dual prices under moderate regularity conditions for general LP problems. Specifically, we identify an equivalent form of the dual problem which relates the dual LP with a sample average approximation to a stochastic program. Furthermore, we propose a new type of OLP algorithm, Action-History-Dependent Learning Algorithm, which improves the previous algorithm performances by taking into account the past input data as well as decisions/actions already made. We derive an $O(\log n \log \log n)$ regret bound (under a locally strong convexity and smoothness condition) for the proposed algorithm, against the $O(\sqrt{n})$ bound for typical dual-price learning algorithms, where $n$ is the number of decision variables. Numerical experiments demonstrate the effectiveness of the proposed algorithm and the action-history-dependent design.

研究の動機と目的

• 確率的入力モデルのもとで、オンライン双対価格がオフライン最適双対解に収束することを確立すること。
• 現在のOLPの結果をパッケージングLPにとどまらず、正負の係数を含む一般の線形計画法へ拡張すること。
• 履歴意思決定データを組み込むことで性能を向上させる、新しいOLPアルゴリズムのクラスを設計すること。
• 双対収束と適応的学習を活用して、オンライン線形計画法のよりタイトなレグレットバウンドを導出すること。
• 一般のLP設定における双対ベースのオンラインアルゴリズムの安定性と最適性の理論的基盤を提供すること。

提案手法

• 真の分布 $\mathcal{P}$ と制約容量に基づく確率的計画問題のサンプル双対LPを、そのサンプル平均近似（SAA）として定式化する。
• 中程度の正則性条件のもとで、サンプル双対最適解と真の確率的計画問題の双対解との間の $L^2$ 距離が $\tilde{O}(\sqrt{m}/\sqrt{n})$ であることを確立する。
• 過去の入力データと過去の意思決定の両方を用いて双対価格を更新する、新しいアクション履歴依存型学習アルゴリズムを提案する。
• 累積的制約消費と歴史的行動に基づいて、動的双対価格更新ルールを導入する。
• 局所的な強凸性と滑らかさの条件を用いて、新アルゴリズムの $O(\log n \log \log n)$ のレグレットバウンドを導出する。
• 双対収束結果を活用して、過去の双対推定値をウォームスタートとして使用することで、計算効率を向上させることを正当化する。

実験結果

リサーチクエスチョン

• RQ1 オンラインアルゴリズムが学習する最適双対価格の集合は、オフライン線形計画問題の双対最適解に収束するか？
• RQ2 オンライン線形計画法の収束性と性能保証は、正負の係数を含む一般のLPへ拡張可能か？
• RQ3 意思決定履歴データを双対学習プロセスに組み込むことで、標準的な双対価格学習アルゴリズムと比較して、より良いレグレットバウンドが達成可能か？
• RQ4 過去の意思決定と入力データを考慮する双対ベースのオンラインアルゴリズムが達成可能な、最もタイトなレグレットバウンドは何か？
• RQ5 新アルゴリズムの計算コストは、意思決定変数および制約の数に対してどのようにスケーリングされるか？

主な発見

• 弱い正則性条件のもとで、サンプル双対LPの最適双対解は、元の確率的計画問題の最適解に $L^2$ 距離 $\tilde{O}(\sqrt{m}/\sqrt{n})$ で収束する。
• 収束結果は、パッケージングLPにとどまらず、正負の係数を含む一般の線形計画法に対しても成り立つ。
• 提案されたアクション履歴依存型学習アルゴリズムは、$O(\log n \log \log n)$ のレグレットバウンドを達成する。これは、従来の双対価格学習手法の $O(\sqrt{n})$ バウンドを著しく改善する。
• アルゴリズムは過去の意思決定を組み込むことで制約消費を安定化させ、以前のアルゴリズムで見られた $O(\sqrt{n})$ のフラクチュエーションを低減する。
• 数値実験により、新アルゴリズムの有効性が確認され、意思決定履歴依存性がレグレット低減に寄与することが妥当化された。
• 新アルゴリズムの計算コストは $O(n)$ であるが、それらの推定値が近接していることから、過去の双対推定値をウォームスタートとして使用することで実際には低減可能である。