[論文レビュー] Combinatorial Multi-Armed Bandit with General Reward Functions

Wei Chen, Wei Hu+4 more|arXiv (Cornell University)|Oct 20, 2016

Advanced Bandit Algorithms Research参考文献 23被引用数 73

ひとこと要約

本稿は、maxや非線形ユーティリティ関数を含む一般の非線形報酬関数を伴う組合せ的マルチアームバンディットに対して、期待報酬が平均値だけでなく確率分布全体に依存する状況を想定し、確率的優位な信頼区間（SDCB）アルゴリズムを提案する。SDCBは分布の推定とその確率的優位信頼区間を用い、O(log T)の分布依存およびÕ(√T)の分布独立なレグレットを達成し、K-MAX問題における最初の多項式時間近似スキーム（PTAS）および任意のε>0に対してÕ(√T)の(1−ε)-近似レグレットを実現する。

ABSTRACT

In this paper, we study the stochastic combinatorial multi-armed bandit (CMAB) framework that allows a general nonlinear reward function, whose expected value may not depend only on the means of the input random variables but possibly on the entire distributions of these variables. Our framework enables a much larger class of reward functions such as the $\max()$ function and nonlinear utility functions. Existing techniques relying on accurate estimations of the means of random variables, such as the upper confidence bound (UCB) technique, do not work directly on these functions. We propose a new algorithm called stochastically dominant confidence bound (SDCB), which estimates the distributions of underlying random variables and their stochastically dominant confidence bounds. We prove that SDCB can achieve $O(\log{T})$ distribution-dependent regret and $ ilde{O}(\sqrt{T})$ distribution-independent regret, where $T$ is the time horizon. We apply our results to the $K$-MAX problem and expected utility maximization problems. In particular, for $K$-MAX, we provide the first polynomial-time approximation scheme (PTAS) for its offline problem, and give the first $ ilde{O}(\sqrt T)$ bound on the $(1-ε)$-approximation regret of its online problem, for any $ε>0$.

研究の動機と目的

• 既存の組合せ的マルチアームバンディット（CMAB）フレームワークが線形または平均値依存の報酬関数に依存するという制限を解決すること。
• max()関数や非線形ユーティリティ関数などの報酬関数において、期待報酬が確率変数の全分布に依存するオンライン学習を可能にすること。
• 正確な平均推定を必要としない一般の非線形報酬関数を扱えるアルゴリズムの開発。
• 一般の非線形報酬関数について、分布依存および分布独立の両設定における理論的レグレットバウンドの提供。
• オフラインのK-MAX問題に対する最初の多項式時間近似スキーム（PTAS）と、そのオンライン版における最初のÕ(√T)の(1−ε)-近似レグレットバウンドの確立。

提案手法

• 潜在的な確率変数の全分布とその確率的優位信頼区間を推定するStochastically Dominant Confidence Bound（SDCB）アルゴリズムを提案。
• 分布推定を用いて、真の分布を確率的に優位に支配する信頼区間を構築し、不確実性下でのロバストな意思決定を可能にする。
• SDCBフレームワークをK-MAX問題および非線形ユーティリティ関数を伴う期待ユーティリティ最大化（EUM）問題に適用。
• 連続的分布に対しては、完全な分布推定を延期することで計算コストを削減する最適化版であるLazy-SDCBを導入。
• オンライン学習における下位モジュラ関数のフィードバックを活用し、組合せ的スーパー・アームを扱う。選択されたアームごとに報酬フィードバックを段階的に更新する。
• 理論的レグレットバウンドの証明：一般の報酬関数に対して、SDCBは分布依存でO(log T)、分布独立でÕ(√T)のレグレットを達成。

実験結果

リサーチクエスチョン

• RQ1 平均値だけでなく全分布に依存する一般の非線形報酬関数を伴う組合せ的マルチアームバンディットにおけるオンライン学習アルゴリズムを設計可能か？
• RQ2 このような一般の報酬関数に対して、分布依存および分布独立の両設定で達成可能な最適なレグレットバウンドは何か？
• RQ3 期待最大報酬を最大化することを目的とするオフラインK-MAX問題に対して、多項式時間近似スキーム（PTAS）を達成可能か？
• RQ4 任意のε>0に対して、オンラインK-MAX問題でÕ(√T)の(1−ε)-近似レグレットバウンドを達成可能か？
• RQ5 非線形報酬関数における学習を支援するため、分布とその信頼区間を効率的に推定する方法は何か？

主な発見

• SDCBは、max関数や非線形ユーティリティ関数を含む一般の非線形報酬関数に対して、O(log T)の分布依存レグレットおよびÕ(√T)の分布独立レグレットを達成する。
• K-MAX問題に関して、本稿はオフライン問題に対する最初の多項式時間近似スキーム（PTAS）を提示し、以前未解決であった問題を解決する。
• 本稿は、任意のε>0に対してオンラインK-MAX問題における最初のÕ(√T)の(1−ε)-近似レグレットバウンドを確立する。
• 実験では、SDCBおよびLazy-SDCBは、全テスト分布においてベースラインのオンライン下位モジュラ最大化アルゴリズム（Algorithm 8）と比較して、1-近似レグレットの観点で顕著に優れている。
• 連続的分布では、Lazy-SDCBがSDCBよりも計算効率が高く、特にDistribution 4において、レグレット性能を損なわず計算オーバーヘッドを削減していることが実証された。
• 結果から、非線形報酬関数では全分布の学習が不可欠であることが示された。平均値のみの推定では、真の期待報酬の挙動を捉えることはできない。