[論文レビュー] Online Learning for Min Sum Set Cover and Pandora's Box

Evangelia Gergatsouli, Christos Tzamos|arXiv (Cornell University)|Feb 10, 2022

Advanced Bandit Algorithms Research被引用数 5

ひとこと要約

本稿では、敵対的価値実現下における最小和集合被覆問題およびパンドラのボックス問題の計算効率の良いオンライン学習フレームワークを提示する。凸緩和、オンライン凸最適化、確率的丸め込みを活用することで、観測可能な値のみが得られるバンドイット設定でさえも、定数競合比を達成する低レグレットのアルゴリズムを実現し、先行研究をマトロイド制約および一般化にまで拡張する。

ABSTRACT

Two central problems in Stochastic Optimization are Min Sum Set Cover and Pandora's Box. In Pandora's Box, we are presented with $n$ boxes, each containing an unknown value and the goal is to open the boxes in some order to minimize the sum of the search cost and the smallest value found. Given a distribution of value vectors, we are asked to identify a near-optimal search order. Min Sum Set Cover corresponds to the case where values are either 0 or infinity. In this work, we study the case where the value vectors are not drawn from a distribution but are presented to a learner in an online fashion. We present a computationally efficient algorithm that is constant-competitive against the cost of the optimal search order. We extend our results to a bandit setting where only the values of the boxes opened are revealed to the learner after every round. We also generalize our results to other commonly studied variants of Pandora's Box and Min Sum Set Cover that involve selecting more than a single value subject to a matroid constraint.

研究の動機と目的

• 価値ベクトルがTラウンドにわたり敵対的に選ばれる状況下で、最小和集合被覆問題およびパンドラのボックス問題に対するノーレグレットのオンライン学習アルゴリズムを設計すること。
• 事前には分布が不明なオンラインで非確率的な設定に、既存の確率的最適化結果を拡張すること。
• 各ラウンド後に開かれたボックスの価値のみが明らかになるバンドイット版のアルゴリズムを開発すること。
• k個のアイテムを選択する、もしくはランクkのマトロイド基底を選択するといったマトロイド制約への一般化を実現すること。
• 近似比が有界で、最適方策に対するレグレットが低い、計算的に効率の良いアルゴリズムを達成すること。

提案手法

• 各ラウンドにおける整数計画法の凸緩和として問題を定式化し、オンライン最適化を可能にする。
• オンライン凸最適化を適用し、最適方策に対するレグレットが低い分数解を計算する。
• 2段階の丸め込み手順を採用：まず確率の高いボックスを開き、次に分數解の値に基づいて確率的に低い確率のボックスを選択する。
• コスト対最適比に基づくしきい値を導入し、高コストのボックスを除外することで、価値選択コストを低減する。
• LP緩和における線形不等式によるランク制約を課すことで、マトロイドの妥当性を保証する。
• 確率的解析を用いて期待される探索コストの上限を示し、マトロイド制約下ではkの対数スケールで増加することを示す。

実験結果

リサーチクエスチョン

• RQ1 価値ベクトルが確率的に生成されるのではなく敵対的に選ばれる状況下でも、最小和集合被覆問題およびパンドラのボックス問題に対して定数競合比のオンラインアルゴリズムを設計可能か？
• RQ2 各ラウンド後に開かれたボックスの価値のみが明らかになるバンドイットフィードバック設定でも、アルゴリズムが低レグレットを維持できるか？
• RQ3 このフレームワークは、ランクkの基底やk個の異なるアイテムを選択するといったマトロイド制約に対しても拡張可能か？
• RQ4 部分的に適応的方策に対するオンライン学習アルゴリズムが達成可能な近似比は何か？
• RQ5 部分的フィードバックが得られる場合、性能はどのように劣化するか？また、定数または対数的近似を達成できるか？

主な発見

• 提案アルゴリズムは、オンラインパンドラのボックス問題における1つのボックス選択において、9.22-近似のノーレグレット保証を達成する。
• k個の異なるボックスを選択する場合、kに依存しないO(1)-近似のノーレグレット解を得る。
• ランクkのマトロイド基底を選択する場合、O(log k)-近似のノーレグレット解を得る。
• 開かれたボックスの価値のみが明らかになるバンドイット設定でも、フレームワークは有効であり、同じ近似保証を維持する。
• アルゴリズムは計算的に効率的であり、最小和集合被覆問題の特殊ケースでは定数要因を超える改善がNP困難であるため、ほぼタイトな近似比を達成する。
• 丸め込みプロセスにより、敵対的フィードバック下でも、期待される価値選択コストが最適コストのO(log k)倍に抑えられることを保証する。