[論文レビュー] Multi-Task Learning for Contextual Bandits

Aniket Anand Deshmukh, Ürün Doǧan+1 more|arXiv (Cornell University)|May 24, 2017

Advanced Bandit Algorithms Research参考文献 3被引用数 30

ひとこと要約

本稿では、文脈的バンディットにおけるタスクの類似性を活用して報酬推定を向上させ、レギュレートを低減するためのカーネル化されたマルチタスク学習上昇信頼区間（KMTL-UCB）アルゴリズムを提案する。類似した腕から得られるデータをカーネルに基づくタスク類似度行列を用いて統合することで、よりタイトなレギュレートバウンドを達成し、ベンチマークデータセットにおいて標準的なLin-UCBおよびKernel-UCBよりも経験的に優れた性能を発揮する。特に腕同士の類似度が高い場合に顕著な改善が得られる。

ABSTRACT

Contextual bandits are a form of multi-armed bandit in which the agent has access to predictive side information (known as the context) for each arm at each time step, and have been used to model personalized news recommendation, ad placement, and other applications. In this work, we propose a multi-task learning framework for contextual bandit problems. Like multi-task learning in the batch setting, the goal is to leverage similarities in contexts for different arms so as to improve the agent's ability to predict rewards from contexts. We propose an upper confidence bound-based multi-task learning algorithm for contextual bandits, establish a corresponding regret bound, and interpret this bound to quantify the advantages of learning in the presence of high task (arm) similarity. We also describe an effective scheme for estimating task similarity from data, and demonstrate our algorithm's performance on several data sets.

研究の動機と目的

• 標準的な文脈的バンディットアルゴリズムが各腕を独立に扱うか、全腕を均一にプールするという制限に対処すること。
• 類似した腕からデータを適応的にプールするマルチタスク学習フレームワークを構築し、文脈的バンディットにおける報酬推定を改善すること。
• マルチタスク文脈的バンディットにおけるタスク類似度の利益を明示的に定量化する理論的レギュレートバウンドを確立すること。
• 観測データからオンラインでタスク類似度を推定するためのリアルタイム手法を設計すること。
• 実世界のデータセットを用いたアルゴリズムの性能の経験的妥当性を検証し、より低いレギュレートと高いサンプル効率を示すこと。

提案手法

• 文脈とタスク類似度のカーネル関数として報酬関数をモデル化するカーネル化されたマルチタスク学習UCB（KMTL-UCB）アルゴリズムを提案する。
• 腕の識別子の上にカーネル関数を用いて定義されたタスク類似度行列を用い、類似した腕間で共有学習を可能にする。
• 信頼区間の項に文脈とタスク類似度の両方の不確実性を組み込む、上昇信頼区間戦略を適用する。
• 共有事前分布構造を用いて、腕全体にわたる報酬関数を共同で学習する正則化カーネルリッジ回帰推定器を採用する。
• 観測された報酬データとカーネル関数を用いて、リアルタイムでタスク類似度行列を推定するデータ駆動型手法を導入する。
• タスク類似度に明示的に依存するレギュレートバウンドを導出する。類似度が高い場合に性能が向上することを示している。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習の原則を活用することで、腕間の類似性を活かすことで、文脈的バンディット設定におけるサンプル効率とレギュレートを改善できるか？
• RQ2 マルチタスク文脈的バンディットフレームワークにおいて、タスク類似度は理論的レギュレートバウンドにどのように影響するか？
• RQ3 文脈的バンディット設定において、限られたオンライン報酬データからタスク類似度を効果的に推定する方法は何か？
• RQ4 提案されたKMTL-UCBアルゴリズムは、標準的なLin-UCBおよびKernel-UCBと比較して、レギュレートと収束性においてどのように異なるか？
• RQ5 マルチタスク学習が、独立学習または完全にプールされた学習よりも顕著な利点を示すのはどのような条件下か？

主な発見

• KMTL-UCBのレギュレートバウンドは、タスク類似度行列の最大固有値の和に比例してスケーリングされ、類似度が高いほどレギュレートが低くなることを示している。
• 合成データおよび実世界のデータセットにおいて、KMTL-UCBはLin-UCBおよびKernel-UCBよりも顕著に低いレギュレートを達成しており、特に腕同士の類似度が高い場合に顕著な改善が得られる。
• リアルタイムでのタスク類似度推定手法は、背後にある腕の類似度を効果的に捉え、学習性能を向上させている。
• マルチクラスデータセットにおける経験的結果から、KMTL-UCBは高類似度条件下で累積レギュレートをベースライン手法と比較して最大30％まで低減していることが示された。
• 理論的分析により、腕が構造的類似性を共有する場合にマルチタスク学習が明示的な利点を提供することが確認され、タスク類似度が高くなるほどレギュレートが低下することが分かった。
• アルゴリズムはさまざまなデータ環境においてロバストでスケーラブルであり、特に低データ環境において性能向上が顕著に現れる。