[論文レビュー] Top-k Combinatorial Bandits with Full-Bandit Feedback

Idan Rejwan, Yishay Mansour|arXiv (Cornell University)|May 28, 2019

Advanced Bandit Algorithms Research参考文献 34被引用数 10

ひとこと要約

本稿では、選択された腕の報酬の合計のみが観測可能なフル・バンドイットフィードバック下でのトップ-kコンビナトリアルバンディット問題に対して、Combinatorial Successive Accepts and Rejects (CSAR) アルゴリズムを提案する。このアルゴリズムは、ハダマード行列に基づく新しいサンプリング方式を用いて、個々の腕の報酬を効率的に推定し、$O(n/\Delta^2 \log(n/\delta))$ の最適なサンプル複雑度ときびしいレグレットバウンドを達成する。実験的評価により、ベースライン手法を上回る優れた性能が示された。

ABSTRACT

Top-k Combinatorial Bandits generalize multi-armed bandits, where at each round any subset of $k$ out of $n$ arms may be chosen and the sum of the rewards is gained. We address the full-bandit feedback, in which the agent observes only the sum of rewards, in contrast to the semi-bandit feedback, in which the agent observes also the individual arms' rewards. We present the Combinatorial Successive Accepts and Rejects (CSAR) algorithm, which generalizes SAR (Bubeck et al, 2013) for top-k combinatorial bandits. Our main contribution is an efficient sampling scheme that uses Hadamard matrices in order to estimate accurately the individual arms' expected rewards. We discuss two variants of the algorithm, the first minimizes the sample complexity and the second minimizes the regret. We also prove a lower bound on sample complexity, which is tight for $k=O(1)$. Finally, we run experiments and show that our algorithm outperforms other methods.

研究の動機と目的

• 報酬の合計値しか観測できない（フル・バンドイットフィードバック）状況下で、n本の腕の中から最適なk本の腕の組合せを特定するという課題に対処すること。
• 限られたフィードバック下で、探索と活用のバランスを取る効率的なアルゴリズムを設計し、サンプル複雑度とレグレットの両方を最小限に抑えること。
• 従来のSuccessive Accepts and Rejects (SAR) アルゴリズムを、フル・バンドイットフィードバックを伴うコンビナトリアルバンディット設定に一般化すること。
• サンプル複雑度とレグレットに関する理論的バウンドを証明し、本問題設定における最初の下界を確立すること。

提案手法

• フル・バンドイットフィードバック下でのトップ-kコンビナトリアルバンディット問題に適した、SARの一般化であるCSARアルゴリズムを提案する。
• ハダマード行列を用いた新しいサンプリング方式を導入し、最小限のサンプル数で集計フィードバックから個々の腕の報酬を推定できるようにする。
• 信頼区間を基に腕を受理または却下する逐次的精錬プロセスを採用し、腕の価値を徐々に高精度に推定する。
• ハダマード行列に基づく線形代数的構成を用いて、個々の腕の報酬を不偏に推定できるサンプリングパターンを生成する。
• サンプル複雑度とレグレットに関する理論的バウンドを導出し、$k=O(1)$ の場合にタイトであることを示す。
• 問題インスタンス間のKLダイバージェンスに基づく下界の証明を用いて、$\Omega(n/\epsilon^2)$ のサンプル数が根本的な限界であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 フル・バンドイットフィードバック下でのトップ-kコンビナトリアルバンディット問題に対して、効率的なアルゴリズムを設計することは可能か？（ここで観測可能なのは報酬の合計値のみである。）
• RQ2 サイズkのサブセットからの集計フィードバックのみを用いて、個々の腕の報酬を正確に推定することは可能か？
• RQ3 フル・バンドイットフィードバック下で最適なk腕の組合せを特定するための根本的なサンプル複雑度の下界は何か？
• RQ4 提案手法は、既存手法と比較してサンプル複雑度とレグレットの両面で優れているか？
• RQ5 ハダマードに基づくサンプリング方式は、この設定で最適な推定効率を達成できるか？

主な発見

• CSARアルゴリズムは、$O(n/\Delta^2 \log(n/\delta))$ のサンプル複雑度を達成しており、$k=O(1)$ の場合にタイトであり、対数要因を除いて下界と一致する。
• CSARのレグレットは $O(nk/\Delta \log T)$ であり、対数要因を除いて最適であり、先行研究の手法よりも顕著に優れている。
• 本稿では、フル・バンドイットフィードバック下でのトップ-kコンビナトリアルバンディット問題に対して、$\Omega(n/\epsilon^2)$ のサンプル数の下界を初めて確立した。これは、サンプル複雑度をこのオーダーを下回っては改善できないことを示している。
• 実験的結果から、ハダマードに基づくサンプリング方式が、ランダムサンプリングやLOOサンプリングに比べ、推定精度とサンプル効率の両面で顕著に優れていることが示された。
• レグレット最小化の観点からも、CSARはAgarwalとAggarwal（2018）が提唱したSort & Mergeアルゴリズムよりも顕著に低い累積レグレットを達成しており、特に長い時間枠での性能が顕著に優れている。
• 本アルゴリズムは多項式時間で計算可能であり、集計報酬しか観測できない状況下でも、個々の腕の報酬を効率的に推定できるため、実世界の応用に実用的である。