[論文レビュー] Differentiable Meta-Learning in Contextual Bandits.

Branislav Kveton, Martin Mladenov+4 more|arXiv (Cornell University)|Jun 9, 2020

Advanced Bandit Algorithms Research参考文献 31被引用数 6

ひとこと要約

本稿では、未知の事前分布からサンプルされたインスタンスの平均報酬を最大化するように方策を最適化する、微分可能メタラーニング手法を提案する。この手法は微分可能で低レグレットな文脈的バンディット方策を用い、ベースライン差分と学習されたバイアスの有効性を示している。分類タスクにおける性能向上が確認された。

ABSTRACT

We study a contextual bandit setting where the learning agent has access to sampled bandit instances from an unknown prior distribution $\mathcal{P}$. The goal of the agent is to achieve high reward on average over the instances drawn from $\mathcal{P}$. This setting is of a particular importance because it formalizes the offline optimization of bandit policies, to perform well on average over anticipated bandit instances. The main idea in our work is to optimize differentiable bandit policies by policy gradients. We derive reward gradients that reflect the structure of our problem, and propose contextual policies that are parameterized in a differentiable way and have low regret. Our algorithmic and theoretical contributions are supported by extensive experiments that show the importance of baseline subtraction, learned biases, and the practicality of our approach on a range of classification tasks.

研究の動機と目的

• 予め想定されるバンディットインスタンスの分布にわたって一般化性能の高いオフライン最適化が可能なバンディット方策の開発。
• 効率的な方策勾配最適化を可能にする微分可能な文脈的方策の開発。
• 構造的かつ学習可能な方策パラメータ化により、文脈的バンディット設定におけるレグレットを低減すること。
• ベースライン差分と学習されたバイアスが方策性能に与える影響の調査。
• 実世界の分類タスクにおける実用的応用の検証。

提案手法

• エージェントは、未知の事前分布 𝒫 からサンプルされたインスタンスにアクセス可能な文脈的バンディット設定で動作する。
• 微分可能な文脈的方策を設計し、方策勾配法によるエンドツーエンド学習を可能にする。
• バンディット問題の構造を反映するように報酬勾配を導出することで、学習の安定性を向上させる。
• 方策勾配更新における分散を低減するためにベースライン差分を適用する。
• 性能向上と一般化の向上を図るため、方策ネットワークに学習されたバイアスを組み込む。
• 実用性と有効性を検証するため、さまざまな分類タスクでアプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 微分可能なメタラーニングは、文脈的バンディットインスタンスの分布全体における平均性能をどのように向上させるか？
• RQ2 この設定において、ベースライン差分は方策勾配最適化の安定性と性能にどのような役割を果たすか？
• RQ3 学習されたバイアスは、文脈的バンディット方策の性能と一般化にどのように影響するか？
• RQ4 微分可能で低レグレットな方策は、どの程度方策勾配を介して効果的に学習可能か？
• RQ5 提案手法は、実世界の分類タスクにおいてスケーリングおよび性能をどのように果たすか？

主な発見

• ベースライン差分は、微分可能なメタラーニングフレームワークにおける学習の安定性と最終的な方策性能を顕著に向上させる。
• 学習されたバイアスは、多様なバンディットインスタンスにわたってより良い一般化と低いレグレットを実現する。
• 微分可能な方策パラメータ化により、方策勾配による効果的な最適化が可能となり、低レグレットが達成された。
• 本手法は、さまざまな分類タスクにおいて実用的で強力な性能を示した。
• 未知の事前分布に従うバンディットインスタンスの平均性能を最適化する方策の学習に成功した。
• 理論的および実験的結果から、導出された報酬勾配が問題構造を効果的に捉えていることが確認された。