[論文レビュー] Warm-starting Contextual Bandits: Robustly Combining Supervised and Bandit Feedback

Chicheng Zhang, Alekh Agarwal+3 more|arXiv (Cornell University)|Jan 2, 2019

Advanced Bandit Algorithms Research参考文献 29被引用数 12

ひとこと要約

本稿では、コスト分布が不一致である場合でも、教師ありフィードバックと文脈的バンディットフィードバックを強固に組み合わせるno-regretアルゴリズムARROW-CBを提案する。この手法は、仮説クラスに特化したコスト類似度測度を用いて、両方のデータタイプのバランスを適応的に調整し、事前に最適な重み付けを知っているオラクルに近いレグレットを達成する。実験では、数多くのデータセットを用いた実証的検証により、ベースラインと比較して一貫した性能向上を示した。

ABSTRACT

We investigate the feasibility of learning from a mix of both fully-labeled supervised data and contextual bandit data. We specifically consider settings in which the underlying learning signal may be different between these two data sources. Theoretically, we state and prove no-regret algorithms for learning that is robust to misaligned cost distributions between the two sources. Empirically, we evaluate some of these algorithms on a large selection of datasets, showing that our approach is both feasible and helpful in practice.

研究の動機と目的

• 教師ありデータと文脈的バンディットフィードバックを、それらの背後にあるコスト分布が異なる可能性がある状況で、効果的に統合できる強固な学習アルゴリズムの開発を目的とする。
• 専門家（教師あり）とユーザー（バンディット）のフィードバック信号が完全に一致しない状況でも、no-regret学習を保証することを目的とする。これは、実世界の応用で一般的に見られる状況である。
• 両方のフィードバックソース間のコスト類似度を事前に知っているオラクルに近い性能を達成するように設計された手法を提案し、最適な重み付けを探索する際のレグレットペナルティを最小限に抑えることを目的とする。
• 教師ありウォームスタートデータに偏りやノイズが varying するさまざまなデータセットにおいて、本手法の実証的妥当性を検証することを目的とする。

提案手法

• ARROW-CBを提案する。これは、重み付き損失関数を通じて教師あり例と文脈的バンディットフィードバックを組み合わせてポリシーを学習するno-regretアルゴリズムである。
• 仮説クラスに特化したコスト類似度測度を導入し、教師ありフィードバックとバンディットフィードバックの分布の乖離度を定量化する。この測度は理論的分析に用いられるが、アルゴリズム自体には組み込まれない。
• 最適な教師ありフィードバックとバンディットフィードバックのバランスを探索する適応的重み付けスキームを採用し、コスト類似度を事前に知っているオラクルに対するレグレットを最小化する。
• 文脈的バンディットフェーズでは、ε-greedy探索戦略を採用し、εは実験に応じて0.0125または0.1に設定して、十分な探索を保証する。
• 最適な重み付けの探索空間の細かさを制御するパラメータ|Λ|を用いる。実験では|Λ| = 8が優れた性能を示した。
• 完全にラベル付けされたデータセットから文脈的バンディットフィードバックをシミュレートし、教師ありデータに偏りやノイズを varying させた制御された条件下で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 コスト分布が不一致である教師ありフィードバックとバンディットフィードバックを組み合わせる文脈的バンディットアルゴリズムが、no-regret学習を達成できるか？
• RQ2 提案手法は、片方のフィードバック源を無視するか、両方を単純平均するベースラインと比較して、どの程度優れているか？
• RQ3 教師ありウォームスタートデータに varying する偏りの程度が、統合学習アプローチの性能に与える影響は何か？
• RQ4 提案手法の性能は、事前に最適な重み付けを知っているオラクルにどの程度近いか？

主な発見

• |Λ| = 8のARROW-CBは、数百のデータセットにわたる集計性能において、他の両方のデータソースを利用する手法を含むすべてのベースラインを上回った。
• ARROW-CBは、ノイズレベルやウォームスタート比に関わらず、正規化誤差の累積分布関数（CDF）が、Sup-Only、Bandit-Only、Majorityを含むすべてのベースラインを一貫して上回った。
• 教師ありデータに偏りがある場合（例：p = 0.25 または p = 0.5）でも、ARROW-CBは強固な性能を維持し、不一致に対する耐性を示した。
• |Λ| = 8のARROW-CBは|Λ| = 2のARROW-CBよりも常に優れた性能を示しており、重み付けパラメータのより細かい探索が耐性を高めることを示した。
• 両方のフィードバック源を活用するベースラインであるSIM-BANDITは、ARROW-CBに比べて著しく劣った性能を示し、提案された適応的重み付け機構の優位性を強調した。
• ノイズのない状況から高ノイズ状況まで、すべての実験条件下でARROW-CBは優れた性能を維持した。CDF曲線は、任意のしきい値未満の誤差を示す条件の割合が、他すべての手法を上回っていた。