[論文レビュー] Meta-learning with Stochastic Linear Bandits

Leonardo Cella, Alessandro Lazaric+1 more|arXiv (Cornell University)|May 18, 2020

Advanced Bandit Algorithms Research参考文献 37被引用数 5

ひとこと要約

本稿では、事前タスクからタスク固有のバイアスベクトルを学習することでレグret最小化を改善する、バイアス正則化された OFUL アルゴリズムを用いたメタラーニングフレームワークを提案する。著者らは理論的および実験的に、タスク分布の分散が低く、タスク数が増加する条件下で、メタラーニング手法が累積レグレットを低減することで、標準的な OFUL よりも顕著に優れていることを示している。

ABSTRACT

We investigate meta-learning procedures in the setting of stochastic linear bandits tasks. The goal is to select a learning algorithm which works well on average over a class of bandits tasks, that are sampled from a task-distribution. Inspired by recent work on learning-to-learn linear regression, we consider a class of bandit algorithms that implement a regularized version of the well-known OFUL algorithm, where the regularization is a square euclidean distance to a bias vector. We first study the benefit of the biased OFUL algorithm in terms of regret minimization. We then propose two strategies to estimate the bias within the learning-to-learn setting. We show both theoretically and experimentally, that when the number of tasks grows and the variance of the task-distribution is small, our strategies have a significant advantage over learning the tasks in isolation.

研究の動機と目的

• メタラーニングを用いて過去のタスク経験を活用することで、確率的線形バンディットにおける収束の遅さという課題に取り組む。
• OFUL アルゴリズムのバイアス正則化版が、バンディットタスクの分布全体においてレグレット最小化をどのように改善するかを調査する。
• 過去に完了したタスクのセットからバイアスベクトルを推定するための2つのメタラーニング戦略（平均化とリッジ回帰）を開発および評価する。
• 個別に各タスクを学習するのと比較して、メタラーニングが顕著な性能向上をもたらす理論的および実験的条件を確立する。

提案手法

• タスク間での一般化を向上させるために、正則化項に学習済みバイアスベクトルとの二乗ユークリッド距離を含むバイアス付き OFUL アルゴリズムを導入する。
• 過去のタスクのタスク固有パラメータの経験的平均としてバイアスベクトルを推定する平均化ベースの手法（AVG-OFUL）を提案する。
• 観測されたタスクパラメータの正則化損失を最小化することでバイアスベクトルを推定するリッジ回帰ベースの手法（RR-OFUL）を開発する。
• バイアス推定は、タスク分布全体にわたって良好に一般化する学習アルゴリズムを選択することを目的とするメタラーニング設定で実施される。
• 理論的分析により、両手法がタスク分布分散が低く、タスク数が増加する条件下で非線形レグレットを達成することが示された。
• 実験的評価は、合成データおよび実世界のデータセット（Last.fm および Movielens）を用いて実施され、タスク固有の特徴表現の構築に SVD および KMeans が用いられた。

実験結果

リサーチクエスチョン

• RQ1 標準的な OFUL と比較して、バイアス正則化された OFUL のバージョンは、確率的線形バンディットにおけるレグレットを低減できるか？
• RQ2 過去のタスクの分布からメタラーニングを行うことで、各タスクを個別に学習するのと比較して、より優れた性能が得られるか？
• RQ3 平均化とリッジ回帰という異なるバイアス推定戦略は、レグレットとタスクの不一致に対するロバストネスの観点でどのように比較できるか？
• RQ4 どのような条件下（例えば、タスク分散が低い、タスク数が多い）で、メタラーニングが個別学習に対して顕著な利点をもたらすか？
• RQ5 実世界のデータに複雑な構造が存在する場合、特にタスク分布の不一致に対して、提案手法はどの程度感度が高いか？

主な発見

• タスク数が増加し、タスク分布分散が小さい状況では、提案されたメタラーニング手法（AVG-OFUL および RR-OFUL）が、標準的な OFUL よりも顕著に低い累積レグレットを達成する。
• AVG-OFUL は、合成データおよび実世界データの両方で、ITL（個別タスク学習）を一貫して上回る性能を示し、特に仮定1（タスクの不一致が小さい）が成り立つ場合に顕著である。
• RR-OFUL はタスクの不一致に対して高い感受性を示し、タスク類似度が低い場合には性能が著しく低下する。これは、Movielens における高い不一致状況で性能が劣化したことで確認された。
• 理論的分析により、両メタラーニング戦略が非線形レグレットを達成することが確認され、タスク数が増加し、タスク分散が低下するほどその利点が大きくなる。
• Last.fm および Movielens における実験結果から、タスク類似度が高い状況では、バイアスのない平均推定器（AVG-OFUL）が、バイアスのあるリッジ推定器（RR-OFUL）を上回ることが示された。
• オラクル方策（真のタスクパラメータを知っている）は、補題2および仮定1の妥当性を確認し、理論的バウンディングが実際の状況でも意味を持つことを示した。