[論文レビュー] Hierarchies of Relaxations for Online Prediction Problems with Evolving Constraints

Alexander Rakhlin, Karthik Sridharan|arXiv (Cornell University)|Mar 4, 2015

Advanced Bandit Algorithms Research参考文献 18被引用数 3

ひとこと要約

本稿では、進化する制約によって定義される組み合わせ的ベンチマーク集合に対する低レグレットを達成する多項式時間のオンライン予測フレームワークを提案する。ランダムプレイアウトとラッセルレ半定値階層を用いて、難しい整数計画問題を近似する。主な貢献は、ベンチマーククラスのレーデマッハ複雑度に比例し、ラッセルレ階層の整数性ギャップに比例するレグレットバウンドを確立したことである。この整数性ギャップは、分離コストに対しては O(log κ)、割当コストに対しては正確に 1 であることが示された。

ABSTRACT

We study online prediction where regret of the algorithm is measured against a benchmark defined via evolving constraints. This framework captures online prediction on graphs, as well as other prediction problems with combinatorial structure. A key aspect here is that finding the optimal benchmark predictor (even in hindsight, given all the data) might be computationally hard due to the combinatorial nature of the constraints. Despite this, we provide polynomial-time \emph{prediction} algorithms that achieve low regret against combinatorial benchmark sets. We do so by building improper learning algorithms based on two ideas that work together. The first is to alleviate part of the computational burden through random playout, and the second is to employ Lasserre semidefinite hierarchies to approximate the resulting integer program. Interestingly, for our prediction algorithms, we only need to compute the values of the semidefinite programs and not the rounded solutions. However, the integrality gap for Lasserre hierarchy \emph{does} enter the generic regret bound in terms of Rademacher complexity of the benchmark set. This establishes a trade-off between the computation time and the regret bound of the algorithm.

研究の動機と目的

• 進化する制約によって定義される組み合わせ的ベンチマーク集合に対して、低レグレットを達成する計算的に効率的なオンライン予測アルゴリズムの開発。
• 組み合わせ的制約下での最適予測子の計算困難性に対処するため、半定値計画法の緩和を活用する。
• 丸められた解を計算するのを避ける不正な学習アルゴリズムを設計し、代わりに半定値計画問題の値の計算に依存する。
• ベンチマーククラスのレーデマッハ複雑度とラッセルレ階層の整数性ギャップに依存するレグレットバウンドを確立する。
• 特定の問題（例：平面グラフ上のメトリックラベルリング）における改善された整数性ギャップが、アルゴリズムの変更なしにレグレットバウンドに直接組み込まれることを示す。

提案手法

• ランダムプレイアウトによる計算負荷の低減と、組み合わせ的制約から生じる整数計画問題の近似に用いるラッセルレ半定値階層を組み合わせた手法。
• 丸められた解の計算ではなく、半定値計画問題の値の計算のみを実行することで、効率的な実装を可能にする。
• レグレットバウンドは、レーデマッハ複雑度にラッセルレ階層の整数性ギャップをスケーリングすることで導出され、分離コストに対しては O(log κ)、割当コストに対しては 1 であることが示された。
• 予測子が説明変数の線形関数とグラフベースの滑らかさを含む制約に従う場合、補足情報に対しても一般化可能である。
• マルチウェイカット、イジングモデル、メトリックラベルリングといった問題を包含し、既知の整数性ギャップの再利用を可能にする。
• 整数性ギャップが定数である場合、レグレットバウンドが定数因子の範囲で最適であることを示す下界を用いて理論的保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 正確にハードな整数計画問題を解かずに、進化する組み合わせ的制約下で低レグレットを達成できるか？
• RQ2 半定値緩和階層は、オンライン設定において最適ベンチマーク予測子を効率的に近似するためにどのように利用できるか？
• RQ3 オンライン学習におけるラッセルレ階層の使用において、計算効率とレグレット性能のトレードオフは何か？
• RQ4 ラッセルレ階層の整数性ギャップを用いて、制約構造の複雑さを反映するタイトなレグレットバウンドを導出できるか？
• RQ5 既知の制約付き予測子クラスのレーデマッハ複雑度の下界を考慮すると、提案されたフレームワークは最適なレグレット性能を達成できるか？

主な発見

• レグレットバウンドは、ベンチマーククラスのレーデマッハ複雑度にラッセルレ階層の整数性ギャップを乗じたものに比例し、分離コストに対しては O(log κ)、割当コストに対しては 1 である。
• 丸められた解を計算せず、半定値計画問題の値のみに依存することで、多項式時間での計算が可能となり、低レグレットを達成する。
• グラフベースの予測、メトリックラベルリング、マルチウェイカットなど、広範な問題クラスに適用可能であり、組み合わせ的構造による制約のモデル化によって実現される。
• ラッセルレ階層の整数性ギャップが直接レグレットバウンドに組み込まれており、特定問題（例：平面グラフ）における改善されたギャップは、アルゴリズムの変更なしに即座に活用可能である。
• 下界により、レグレットバウンドが定数因子の範囲で最適であることが示された。最悪ケースのレグレットは、制約付きクラスのレーデマッハ複雑度の 1/κ 倍以上である。
• 補足情報に対してもロバストである：予測子が説明変数の線形関数に近いと制約される場合、適切な制約のエンコードにより、依然として低レグレットを維持する。