[論文レビュー] Recovering Bandits

Ciara Pike-Burke, Steffen Grünewälder|arXiv (Cornell University)|Jan 1, 2019

Advanced Bandit Algorithms Research被引用数 10

ひとこと要約

本稿は、各アームの報酬が最後に選択されてからの時間経過に伴い減少する回復型バンディット問題に対して、ガウス過程を用いた連合推定と計画手法を提案する。計算効率を向上させるために、楽観的計画の近似を導入し、理論的レギュレートバウンドを達成するとともに、動的環境における強力な経験的性能を示している。

ABSTRACT

We study the recovering bandits problem, a variant of the stochastic multi-armed bandit problem where the expected reward of each arm varies according to some unknown function of the time since the arm was last played. While being a natural extension of the classical bandit problem that arises in many real-world settings, this variation is accompanied by significant difficulties. In particular, methods need to plan ahead and estimate many more quantities than in the classical bandit setting. In this work, we explore the use of Gaussian processes to tackle the estimation and planing problem. We also discuss different regret definitions that let us quantify the performance of the methods. To improve computational efficiency of the methods, we provide an optimistic planning approximation. We complement these discussions with regret bounds and empirical studies.

研究の動機と目的

• マルチアームバンディット問題における時間依存的報酬減少の課題に対処すること。
• 不確実性下での報酬関数の連合推定と行動計画を実現する手法の開発。
• 回復型バンディット問題における計画の計算効率を、楽観的近似を用いて向上させること。
• 時間依存的報酬の性質を反映する新しいパフォーマンス指標を形式化・分析すること。

提案手法

• 各アームの未知の時間に依存する報酬関数を、ガウス過程でモデル化する。
• 観測されたプレイデータからベイズ推論を適用して報酬関数を推定する。
• 性能を維持しつつ計算コストを削減するため、楽観的計画の近似を実装する。
• 報酬の時間依存的性質を考慮した、新しいレギュレート定義を導入する。
• 報酬減少の構造を活用して、効率的な探索と活用のトレードオフを設計する。
• 提案フレームワーク下での理論的レギュレートバウンドを導出する。推定の精度と計画の効率性を結びつける。

実験結果

リサーチクエスチョン

• RQ1 マルチアームバンディット問題において、時間に依存する報酬関数を効果的にモデル化・推定する方法は何か？
• RQ2 将来の報酬減少と不確実性を考慮した効率的な計画戦略は何か？
• RQ3 異なるレギュレート定義は、回復型バンディットにおけるアルゴリズムのパフォーマンスをどのように反映するか？
• RQ4 計算複雑性を低減しつつ、レギュレート保証を維持するための計算近似は何か？
• RQ5 提案手法は、時間変動する報酬を示す動的環境において、ベースライン手法と比較してどのように差をつけるか？

主な発見

• 新しいレギュレート定義のもとで、提案手法は証明可能なサブ線形レギュレートを達成しており、長期的なパフォーマンス保証を示している。
• 楽観的計画の近似により、計算コストが顕著に削減されたが、レギュレート性能に悪影響を与えないことが確認された。
• ガウス過程は、未知の報酬減少関数を効果的にモデル化でき、正確な推定と計画を可能にした。
• 経験的分析から、時間変動する報酬を伴う動的環境において、提案手法がベースライン手法を上回ることが示された。
• レギュレートバウンドは、報酬減少関数の滑らかさと時間特徴の次元数に有利にスケーリングする。
• フレームワークは報酬ダイナミクスの柔軟なモデル化を可能とし、多様な現実世界のバンディットシナリオへの適用を可能にする。