[論文レビュー] Policy Gradients for Contextual Bandits.

Feiyang Pan, Qingpeng Cai+3 more|arXiv (Cornell University)|Feb 12, 2018

Advanced Bandit Algorithms Research参考文献 20被引用数 1

ひとこと要約

この論文は、閉形式のマージナル確率と低分散勾配を備えた微分可能ポリシークラスである、文脈的バンディット用のポリシー勾配（PGCB）を提案する。これにより、文脈的バンディット設定における強化学習が効率的に行える。PGCBは、実世界および合成データセットにおいて、古典的な文脈的バンディット手法および標準的なポリシー勾配手法を上回る性能を発揮する。

ABSTRACT

We study a generalized contextual-bandits problem, where there is a state that decides the distribution of contexts of arms and affects the immediate reward when choosing an arm. The problem applies to a wide range of realistic settings such as personalized recommender systems and natural language generations. We put forward a class of policies in which the marginal probability of choosing an arm (in expectation of other arms) in each state has a simple closed form and is differentiable. In particular, the gradient of this class of policies is in a succinct form, which is an expectation of the action-value multiplied by the gradient of the marginal probability over pairs of states and single contexts. These findings naturally lead to an algorithm, coined policy gradient for contextual bandits (PGCB). As a further theoretical guarantee, we show that the variance of PGCB is less than the standard policy gradients algorithm. We also derive the off-policy gradients, and evaluate PGCB on a toy dataset as well as a music recommender dataset. Experiments show that PGCB outperforms both classic contextual-bandits methods and policy gradient methods.

研究の動機と目的

• 文脈分布と報酬が潜在的な状態に依存する文脈的バンディット問題において、効率的で安定したポリシー学習を達成すること。
• 強化学習における安定な勾配推定を可能にする、微分可能なマージナル確率を備えたポリシークラスを開発すること。
• 文脈的バンディット設定における標準的なポリシー勾配手法と比較して、ポリシー勾配更新の分散を低減すること。
• 重要度サンプリングを活用することで、オフポリシー勾配更新を導出し、学習のためのデータ効率と柔軟性を向上させること。
• 合成データおよび実世界の推薦データセットを用いた実験的検証を通じて、優れた性能を示すこと。

提案手法

• ある状態におけるアーム選択のマージナル確率が、ポリシー・パラメータに関して微分可能である閉形式の表現を持つポリシークラスを提案する。
• ポリシー勾配を、状態・文脈ペアごとの行動価値と、マージナル確率の勾配の積の期待値として導出する。
• 効率的な最適化のため、確率的勾配降下法を用いることができる簡潔な勾配表現を導入する。
• 理論的分析により、PGCBの勾配分散が標準的なポリシー勾配手法のそれよりも厳密に小さいことを示す。
• 重要度サンプリングを活用することで、現在のポリシーが生成しないログデータや軌道からも学習可能なオフポリシー勾配更新を導出する。
• 微分可能なポリシークラスと低分散勾配推定を組み合わせた、エンドツーエンドの学習が可能なPGCBアルゴリズムを構築する。

実験結果

リサーチクエスチョン

• RQ1 微分可能なポリシークラスに閉形式のマージナル確率を備えることで、文脈的バンディットにおけるデータの効率性と勾配の安定性が向上するか？
• RQ2 提案されたポリシー勾配定式化は、文脈的バンディット学習において、標準的なポリシー勾配手法よりも分散が小さいか？
• RQ3 PGCBフレームワークから導出されたオフポリシー勾配は、ログデータや非定常な行動ポリシーからの学習を効果的に行えるか？
• RQ4 実世界の推薦タスクにおいて、PGCBは古典的な文脈的バンディットアルゴリズム（例：LinUCB）および標準的なポリシー勾配ベースラインと比較して優れた性能を示すか？
• RQ5 ポリシーの閉形式構造は、実際の応用において収束が速く、より優れた性能を発揮するか？

主な発見

• 理論的に証明され、実験的に検証された通り、PGCBは標準的なポリシー勾配手法よりも低い勾配分散を達成する。
• 提案されたポリシークラスにより、閉形式で微分可能なマージナル確率が実現され、勾配計算が簡素化され、最適化の安定性が向上する。
• 音楽推薦データセットにおいて、PGCBは古典的な文脈的バンディット手法および標準的なポリシー勾配ベースラインを上回る累積報酬を達成する。
• トイラベルデータセットを用いた実験により、PGCBが競合手法よりも高速に収束し、より高い性能を達成することが確認された。
• オフポリシー勾配定式化により、ログデータからの学習が効果的に行えるようになり、実世界の応用におけるデータ効率が向上した。
• 本手法は、個別化された推薦や自然言語生成を含む多様な設定で、強力な実験的性能を示した。