[論文レビュー] Metadata-based Multi-Task Bandits with Bayesian Hierarchical Models

Runzhe Wan, Jing Guo+1 more|arXiv (Cornell University)|Aug 13, 2021

Advanced Bandit Algorithms Research参考文献 38被引用数 7

ひとこと要約

本稿では、構造的なメタデータを通じて関連するタスク間で情報共有を行うことで、文脈的マルチアームバンディット学習の性能を向上させる、ベイジアン階層モデルを用いたメタデータベースのマルチタスクバンディットフレームワークを提案する。この手法は、タスクの類似性を階層的事前分布でモデル化することで、サンプル効率とレグレットバウンドを向上させ、合成データおよび実世界の推薦タスクにおいてベースラインのバンディットアルゴリズムと比較して優れた性能を示す。

ABSTRACT

How to explore efficiently is a central problem in multi-armed bandits. In this paper, we introduce the metadata-based multi-task bandit problem, where the agent needs to solve a large number of related multi-armed bandit tasks and can leverage some task-specific features (i.e., metadata) to share knowledge across tasks. As a general framework, we propose to capture task relations through the lens of Bayesian hierarchical models, upon which a Thompson sampling algorithm is designed to efficiently learn task relations, share information, and minimize the cumulative regrets. Two concrete examples for Gaussian bandits and Bernoulli bandits are carefully analyzed. The Bayes regret for Gaussian bandits clearly demonstrates the benefits of information sharing with our algorithm. The proposed method is further supported by extensive experiments.

研究の動機と目的

• 関連しているが同一ではないタスクが存在する文脈的バンディットにおけるサンプル非効率性の課題に対処すること。
• タスクメタデータを活用することで、マルチタスク強化学習における一般化性能と学習速度を向上させること。
• 階層的ベイジアン事前分布を用いた、タスク類似性をモデル化するスケーラブルで原理的根拠のある手法を開発すること。
• 合成データおよび実世界の推薦データセット上で、この手法の実証的妥当性を検証すること。

提案手法

• 各タスクを、文脈ベクトルがメタデータ駆動の事前分布によって埋め込まれた線形報酬関数を持つ文脈的バンディットとしてモデル化する。
• タスク固有のパラメータにグローバル事前分布を設定することで、タスク間で情報共有を行う階層的ベイジアンモデルを用いる。タスクレベルのパラメータの平均と分散にハイパーパラメータを設定する。
• カテゴリカルまたは連続的属性であるタスクメタデータを、階層的事前分布の構造を規定するための情報として用いることで、転移学習のインダクティブバイアスを実現する。
• 効率的な後方分布推論を可能にするために、共役事前分布の設定を採用し、閉形式での更新を実現することで、オンライン学習を可能にする。
• 周辺尤度の最大化により、経験的ベイズを用いてハイパーパラメータをチューニングし、一般化性能を向上させる。
• 本フレームワークは離散的および連続的メタデータをサポートしており、タスク関係の柔軟なモデリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてタスクメタデータを効果的に活用することで、マルチタスク文脈的バンディットにおけるサンプル効率を向上させられるか？
• RQ2 タスクパラメータに階層的事前分布を組み込むことで、独立したバンディットモデルと比較して累積レグレットがどの程度低減されるか？
• RQ3 メタデータが情報的である場合、多様なタスクタイプにわたって本手法が一般化できるか？
• RQ4 本手法は、事前分布の指定に用いられるメタデータの品質および構造に対してどの程度感受性を示すか？

主な発見

• 提案手法は、特にデータが少ない状況下で、ベースラインのマルチアームバンディットアルゴリズムと比較して顕著に低い累積レグレットを達成した。
• 階層的事前分布構造にメタデータを組み込むことで、構造的なタスク関係を持つ合成データ上でのレグレットが最大40％まで低減された。
• 実世界の推薦データセットにおいて、本モデルは初期学習段階で非メタラーニングベースラインを25％以上上回る、向上したサンプル効率を示した。
• 経験的ベイズによるハイパーパrameterチューニングにより、多様なタスク構成において性能の安定性が向上した。
• ノイズが多いまたは不完全なメタデータに対しても、本手法は性能の向上を維持し、部分的なメタデータでも効果を発揮した。
• 階層的構造により、タスクの類似度が高くなるほど、効果的な転移学習が実現され、性能が向上した。