[論文レビュー] Meta-Learning Bandit Policies by Gradient Ascent

Branislav Kveton, Martin Mladenov+4 more|arXiv (Cornell University)|Jun 9, 2020

Advanced Bandit Algorithms Research参考文献 81被引用数 5

ひとこと要約

本論文は、未知の事前分布からのサンプル問題インスタンス上で訓練された微分可能ポリシーに対する勾配上昇法を用いたメタラーニングフレームワークを提案する。ポリシーのパラメータをポリシー勾配による最適化によりベイズリグレットを最小化することで、文脈なしおよび文脈ありバンディット設定の両方で、明示的な事前仮定を必要とせずに最先端のベースラインを上回る優れた経験的性能を達成する。

ABSTRACT

Most bandit policies are designed to either minimize regret in any problem instance, making very few assumptions about the underlying environment, or in a Bayesian sense, assuming a prior distribution over environment parameters. The former are often too conservative in practical settings, while the latter require assumptions that are hard to verify in practice. We study bandit problems that fall between these two extremes, where the learning agent has access to sampled bandit instances from an unknown prior distribution $\mathcal{P}$ and aims to achieve high reward on average over the bandit instances drawn from $\mathcal{P}$. This setting is of a particular importance because it lays foundations for meta-learning of bandit policies and reflects more realistic assumptions in many practical domains. We propose the use of parameterized bandit policies that are differentiable and can be optimized using policy gradients. This provides a broadly applicable framework that is easy to implement. We derive reward gradients that reflect the structure of bandit problems and policies, for both non-contextual and contextual settings, and propose a number of interesting policies that are both differentiable and have low regret. Our algorithmic and theoretical contributions are supported by extensive experiments that show the importance of baseline subtraction, learned biases, and the practicality of our approach on a range problems.

研究の動機と目的

• 古典的バンディットポリシー（保守的で最悪ケースに焦点を当てたもの）とベイジアンバンディット（既知の事前分布を必要とし、計算コストが高いため）の間のギャップを埋める。
• 既知の事前分布を仮定せずに、問題インスタンスの分布に適合したデータ駆動型バンディットポリシーの学習を可能にする。
• ポリシー勾配を用いた、一般的で体系的かつ実用的なバンディットポリシーのメタラーニングアプローチを構築する。アドホックなチューニングを回避する。
• 微分可能で、証明可能に有効であり、勾配ベース手法を用いてエンドツーエンド最適化可能なバンディットポリシーを設計する。
• 多様なバンディット問題構造、特にマルチアームバンディットと線形バンディットを含む、実用的かつ効果的なアプローチの有効性を実証する。

提案手法

• 未知の事前分布からのサンプルインスタンス上で、パラメータ化されたバンディットポリシーを最適化するメタラーニングフレームワークを提案する。
• バンディット問題の構造を反映する解析的に取り扱いやすい報酬勾配を導出することで、ロールアウトからの効率的な勾配推定を可能にする。
• SoftElim や RNN ベースのポリシーなど、表現力が高く勾配ベース最適化に適した新しい微分可能バンディットポリシーを導入する。
• 勾配の分散を低減し、ポリシー勾配最適化の安定性を向上させるために、ベースライン差し引きと学習可能なバイアスを用いる。
• バッチ勾配上昇法によりポリシーを訓練し、問題インスタンスの分布全体における平均性能を直接最適化することで、ベイズリグレットを最小化する。
• 文脈なしおよび文脈ありバンディット設定の両方をサポートし、構造的アクション空間および文脈依存報酬関数へとフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 未知の事前分布を持つメタラーニング設定において、ポリシー勾配法がバンディットポリシーの学習に効果的に適用可能か。
• RQ2 ポリシーと環境の構造的性質を保ちながら、バンディット問題における報酬勾配を効率的に推定する方法は何か。
• RQ3 SoftElim や RNN ベースのポリシーなどの微分可能バンディットポリシーは、実際のところ最先端のベースラインを上回るベイズリグレットを達成するか。
• RQ4 ベースライン差し引きと学習可能なバイアスは、バンディットポリシーのポリシー勾配学習の安定性と性能向上に果たす役割は何か。
• RQ5 提案されたフレームワークは、事前仮定を必要とせずに、文脈ありバンディットや線形バンディットを含む、さまざまなバンディット問題構造に一般化可能か。

主な発見

• 本手法（GradBand と命名）は、サンプルインスタンス上でベイズリグレットを直接最小化することで、文脈なしおよび文脈ありバンディット設定の両方で、最先端のベースラインを著しく上回る。
• ベースライン差し引きと学習可能なバイアスは、訓練の安定性を高め、ポリシー性能を向上させる上で実証的に不可欠であることが示され、勾配の分散を低減し収束を加速する。
• 微分可能な SoftElim ポリシーは、先行研究の O(KΔ⁻⁴) 定数と比較して、O(1) 定数のよりタイトなリグレットバインドを達成しており、理論的および実用的性能の向上を示している。
• RNN ベースのポリシーは、多様な問題インスタンスにわたり優れた一般化性能を示しており、フレームワークの柔軟性および複雑な逐次意思決定構造へのスケーラビリティを示している。
• 本アプローチは、標準的なマルチアームバンディットをはるかに超えて一般化可能であり、組み合わせ的セミバンディット、部分観測、非線形一般化線形バンディットへの拡張が可能である。
• 経験的結果から、多くの場合においてベイズ報酬がポリシーのパラメータに関して凹型であることが示唆されており、勾配上昇法が近似的最適ポリシーへの収束を支持する。