[論文レビュー] Multitask Learning and Bandits via Robust Statistics

Kan Xu, Hamsa Bastani|arXiv (Cornell University)|Dec 28, 2021

Advanced Bandit Algorithms Research被引用数 5

ひとこと要約

本稿では、ロバスト統計とLASSO回帰を組み合わせた頑健なマルチタスク学習推定器を提案する。この手法は、共有のグローバルパラメータとスパースなインスタンス固有パラメータを持つ異種学習問題におけるサンプル効率を向上させる。高次元でデータが乏しい設定において、指数的サンプル複雑性の向上を達成し、バイアス-バリアンストレードオフのための動的キャリブレーションを用いることで、文脈バンディット応用におけるより良いレグレットバウンドを実現する。

ABSTRACT

Decision-makers often simultaneously face many related but heterogeneous learning problems. For instance, a large retailer may wish to learn product demand at different stores to solve pricing or inventory problems, making it desirable to learn jointly for stores serving similar customers; alternatively, a hospital network may wish to learn patient risk at different providers to allocate personalized interventions, making it desirable to learn jointly for hospitals serving similar patient populations. Motivated by real datasets, we study a natural setting where the unknown parameter in each learning instance can be decomposed into a shared global parameter plus a sparse instance-specific term. We propose a novel two-stage multitask learning estimator that exploits this structure in a sample-efficient way, using a unique combination of robust statistics (to learn across similar instances) and LASSO regression (to debias the results). Our estimator yields improved sample complexity bounds in the feature dimension $d$ relative to commonly-employed estimators; this improvement is exponential for "data-poor" instances, which benefit the most from multitask learning. We illustrate the utility of these results for online learning by embedding our multitask estimator within simultaneous contextual bandit algorithms. We specify a dynamic calibration of our estimator to appropriately balance the bias-variance tradeoff over time, improving the resulting regret bounds in the context dimension $d$. Finally, we illustrate the value of our approach on synthetic and real datasets.

研究の動機と目的

• 複数の関連するが異種のタスクにおいて、各タスクに限られたラベル付きデータがある状況での学習の課題に対処すること。
• 共有のグローバルパラメータとスパースなインスタンス固有の摂動を活用することで、高次元設定におけるサンプル効率を向上させること。
• 補助データが異種的またはノイズが多い状況でも強固な性能を維持できる推定器の開発。
• バイアス-バリアンストレードオフのための動的キャリブレーションを用いた、同時文脈バンディットによるオンライン学習への推定器の拡張。
• 合成データおよび実世界のデータセットにおいて、標準的なマルチタスク学習およびプーリング手法と比較して、理論的および実験的優位性を示すこと。

提案手法

• 2段階推定器を提案：まず、全インスタンスにわたるHuber型M推定量を用いてグローバルパラメータをロバストに推定し、次にLASSO回帰を用いてインスタンス固有のスパースな摂動を回復する。
• 外れ値やインスタンス間の異種性に対処するためのロバスト統計フレームワークを用い、安定したグローバルパラメータ推定を保証する。
• インスタンス固有推定のバイアスを低減し、グローバル平均からの摂動のスパarsityを促進するためにLASSO正則化を適用する。
• バイアスとバリアンスのバランスを時間経過とともに調整できる、動的キャリブレーションを施した同時文脈バンディットアルゴリズム（RMBandit）に推定器を統合する。
• 変化するデータ可用性とインスタンス類似度に適応する、推定器のチューニングパラメータのための新規キャリブレーション方式を採用する。
• 理論的分析により、特徴次元dにおける改善されたサンプル複雑性バウンドが確立され、データが乏しいインスタンスにおいて指数的利得が得られる。

実験結果

リサーチクエスチョン

• RQ1 ロバスト統計とLASSOを組み合わせたマルチタスク学習推定器は、高次元で異種の学習問題において、標準推定器よりも優れたサンプル複雑性を達成できるか？
• RQ2 各タスクに限られたラベル付きデータしか利用できないデータが乏しいインスタンスにおいて、提案手法の性能はいかがなものか？
• RQ3 推定器を文脈バンディットフレームワークに統合することで、ベースライン手法と比較してレグレットバウンドがどの程度改善されるか？
• RQ4 実世界の応用において、ハイパーパラメータの誤指定に対して、この手法はどの程度頑健か？
• RQ5 インスタンス固有の摂動のスパarsityと整合性がタスク間でどのように変化するかに応じて、性能はどの程度変化するか？

主な発見

• 提案されたRMEstimatorは、データが乏しいインスタンスにおいて特徴次元dに関して指数的サンプル複雑性の向上を達成し、標準推定器を著しく上回る。
• データが乏しい状態（n_i/n_j >> 1）では、RMEstimatorの予測誤差は標準推定器よりも低く、これは補題4.8の確認である。
• RMBanditアルゴリズムは、推定器を動的キャリブレーションすることで、文脈次元dにおいてより良いレグレットバウンドを達成する。
• ハイパーパラメータの変動に対して本手法は頑健である：q0、ω0、ζ1,0、η1,0の異なる設定においても累積レグレットは安定しており、実用的信頼性を示す。
• インスタンス固有の摂動がスパース性を欠くか、整合性が悪い場合にのみ性能が低下するが、最悪ケースでも推定器は競争力のある正確性を維持する。
• 実験的結果では、摂動の大きさが中程度以上である場合、RMEstimatorはプーリング手法を上回り、近似的なスパarsity下でも有効であることが示された。