[論文レビュー] Discrepancy-Based Algorithms for Non-Stationary Rested Bandits

Corinna Cortes, Giulia DeSalvo+3 more|arXiv (Cornell University)|Oct 29, 2017

Hemodynamic Monitoring and Therapy被引用数 8

ひとこと要約

本稿では、報酬分布がアームが引かれたときのみ変化する非定常的 rested バンディット問題に対して、新しい差分に基づくアルゴリズムを提案する。重み付き差分を非定常性の尺度として用い、UCBの原則を拡張することで、自然な条件下でログレギュラリティ境界を達成する。これにより、先行研究の結果を統一的かつ回復可能にし、ベンチマークと比較して実用的な改善を示す。

ABSTRACT

We study the multi-armed bandit problem where the rewards are realizations of general non-stationary stochastic processes, a setting that generalizes many existing lines of work and analyses. In particular, we present a theoretical analysis and derive regret guarantees for rested bandits in which the reward distribution of each arm changes only when we pull that arm. Remarkably, our regret bounds are logarithmic in the number of rounds under several natural conditions. We introduce a new algorithm based on classical UCB ideas combined with the notion of weighted discrepancy, a useful tool for measuring the non-stationarity of a stochastic process. We show that the notion of discrepancy can be used to design very general algorithms and a unified framework for the analysis of multi-armed rested bandit problems with non-stationary rewards. In particular, we show that we can recover the regret guarantees of many specific instances of bandit problems with non-stationary rewards that have been studied in the literature. We also provide experiments demonstrating that our algorithms can enjoy a significant improvement in practice compared to standard benchmarks.

研究の動機と目的

• 報酬がアームが引かれたときのみ変化する（rested バンディット）非定常的報酬問題における挑戦に応えること。
• バンディット設定における多様な非定常的確率過程を捉える一般化されたアルゴリズムフレームワークを構築すること。
• 非定常性に関する自然な仮定の下で、ラウンド数に関して対数的レギュラリティ境界を導出すること。
• 先行の非定常バンディットに関する特殊な研究から得られた既存のレギュラリティ境界を統一的かつ回復すること。

提案手法

• アーム報酬を支配する確率過程における非定常性の尺度として、重み付き差分の概念を導入すること。
• 上界信頼区間（UCB）の原則と差分に基づく探索制御を組み合わせた新しいバンディットアルゴリズムを設計すること。
• 差分推定値を用いて信頼区間とアーム選択を動的に調整することで、変化する報酬分布への適応性を確保すること。
• 差分とレギュラリティ境界の関係を形式化し、多様な非定常過程にわたる解析を可能にする理論的枠組みを構築すること。
• このフレームワークを用いて、先行の非定常バンディット研究から知られているレギュラリティ境界を回復すること。
• 標準ベンチマークとの比較を実施し、実用的利点を示す実験的評価を実施すること。

実験結果

リサーチクエスチョン

• RQ1 一般の非定常性尺度を用いて、非定常的 rested バンディット問題のための統一的アルゴリズムフレームワークを開発可能か？
• RQ2 提案されたアルゴリズムは、非定常的報酬の下でどのような条件下で対数的レギュラリティを達成するか？
• RQ3 重み付き差分の概念は、rested バンディット問題におけるよりタイトでより一般的なレギュラリティ解析をどのように可能にするか？
• RQ4 提案されたフレームワークは、特殊な非定常バンディットモデルから既存のレギュラリティ境界を回復し一般化可能か？
• RQ5 実用的な非定常バンディット環境において、このアルゴリズムは標準ベンチマークを上回る性能を示すか？

主な発見

• 提案されたアルゴリズムは、非定常性に関する自然な条件下で、報酬が非定常であってもラウンド数に関して対数的レギュラリティを達成する。
• フレームワークは、先行の非定常バンディットに関する特殊な研究から得られた既知のレギュラリティ境界を成功裏に回復し、統一性を示した。
• 重み付き差分は、確率過程における非定常性の測定と適応に強力で一般的なツールであることが示された。
• 実験結果から、非定常バンディット設定において、標準ベンチマークアルゴリズムよりも顕著な性能向上が確認された。
• アルゴリズムの設計は、多様な非定常報酬過程にわたる明確な理論的解析と実用的適応性を可能にした。