[論文レビュー] Simple Modification of the Upper Confidence Bound Algorithm by Generalized Weighted Averages

Nobuhito Manome, Shuji Shinohara+1 more|arXiv (Cornell University)|Aug 28, 2023

Reinforcement Learning in RoboticsComputer Science被引用数 3

ひとこと要約

本論文では、探索と活用のバランスを一般化加重平均を用いて行う二パラメータの一般化手法であるGWA-UCB1を提案する。この手法は、実装変更を最小限に抑えつつ、確率的および生存MAB設定の両方でUCB1、トムソンサンプリング、G-UCB1を上回る性能を発揮する。

ABSTRACT

The multi-armed bandit (MAB) problem is a classical problem that models sequential decision-making under uncertainty in reinforcement learning. In this study, we propose a new generalized upper confidence bound (UCB) algorithm (GWA-UCB1) by extending UCB1, which is a representative algorithm for MAB problems, using generalized weighted averages, and present an effective algorithm for various problem settings. GWA-UCB1 is a two-parameter generalization of the balance between exploration and exploitation in UCB1 and can be implemented with a simple modification of the UCB1 formula. Therefore, this algorithm can be easily applied to UCB-based reinforcement learning models. In preliminary experiments, we investigated the optimal parameters of a simple generalized UCB1 (G-UCB1), prepared for comparison and GWA-UCB1, in a stochastic MAB problem with two arms. Subsequently, we confirmed the performance of the algorithms with the investigated parameters on stochastic MAB problems when arm reward probabilities were sampled from uniform or normal distributions and on survival MAB problems assuming more realistic situations. GWA-UCB1 outperformed G-UCB1, UCB1-Tuned, and Thompson sampling in most problem settings and can be useful in many situations. The code is available at https://github.com/manome/python-mab.

研究の動機と目的

• 既存のUCBベースのアルゴリズムが多様な問題設定において探索と活用のバランスをとる点での限界を克服すること。
• シンプルさを保ちつつ、異なる報酬分布に適応できるUCB1の一般化を開発すること。
• 強化学習パイプラインにおけるUCB1の実用的かつ即座に置き換え可能な代替手段を提供すること。
• 現実的な報酬ダイナミクスを含む、確率的および生存MABシナリオにおけるアルゴリズムの頑健性を評価すること。
• 多様な環境における性能向上に寄与する最適なパラメータ設定を同定すること。

提案手法

• 提案されたGWA-UCB1アルゴリズムは、上位信頼区間を計算するために一般化加重平均を組み込むことで、UCB1を一般化する。
• 探索と活用のバランスを重み付け方式によって制御する2つの調整可能なパラメータを導入する。
• アルゴリズムは、標準の信頼区間ボーナスを過去の報酬と不確実性の一般化加重平均に置き換えることで、UCB1の式を変更する。
• 後方互換性を考慮して設計されており、既存のUCBベースの強化学習フレームワークへの直接統合が可能である。
• 一般化された重み付け機構により、報酬の分散および分布的特性に動的に適応可能である。
• 合成MAB問題（一様分布および正規分布の報酬を想定）と、現実世界の制約を模擬する生存MAB問題の両方を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 2本のアームを有する確率的マルチアームバンディット問題において、GWA-UCB1はUCB1、トムソンサンプリング、G-UCB1に比べてどのように性能を発揮するか？
• RQ2 一般化加重平均の定式化は、一様分布や正規分布を含む多様な報酬分布において性能を向上させることができるか？
• RQ3 時間依存性または打ち切りあり報酬を含む現実的な制約を模擬する生存MAB問題において、GWA-UCB1はどのように性能を発揮するか？
• RQ4 異なるMAB問題設定におけるGWA-UCB1の最適パラメータ設定は何か？
• RQ5 二パラメータの一般化は、標準的なUCB1と比較して、どれほど適応性と頑健性を向上させるか？

主な発見

• GWA-UCB1は、2アームのテストされた大多数の確率的MAB設定で、UCB1、トムソンサンプリング、G-UCB1を上回った。
• アームの報酬確率が一様分布または正規分布から抽出された場合、アルゴリズムは優れた性能を示した。
• 打ち切りありまたは時間依存の報酬を含む生存MAB問題では、GWA-UCB1は強力な性能を維持した。
• GWA-UCB1の最適パラメータ設定は、元の報酬分布に敏感であることが判明し、その適応性が浮き彫りになった。
• UCB1の式に対する単純な修正が、計算複雑性を増加させることなく顕著な性能向上をもたらした。
• GWA-UCB1のコードは公開されており、再現性の確保および既存の強化学習システムへの統合を容易にする。